Разбор кейса: ИИ не ошибся. Он честно выучил то, что ему показали
❌ Что произошло: система стала занижать оценку женщинам.
По данным Reuters, она снижала баллы резюме, где встречалось слово «женский», например «капитан женского шахматного клуба». И понижала выпускниц двух женских колледжей.
Никто её этому не учил. Она сама вывела правило из данных: за 10 лет большинство резюме в компанию присылали мужчины, так выглядела вся техническая отрасль. Система посмотрела на историю и решила, что так и надо.
❓Где сломалось:
— Учили на прошлых решениях, а не на правильных. ИИ не знает, каким должен быть найм. Он знает только, каким найм был. И повторяет его вместе со всеми перекосами.
— Чинили симптом, а не причину. Конкретные слова из оценки убрали. Но гарантии, что система не найдёт другой признак для той же сортировки, не было. Поэтому проект и закрыли.
Но хорошо, что решение не отдали машине целиком. Рекрутеры смотрели на звёзды, но решали сами. Без этого ошибка ушла бы в найм.
Причём тут вы, если своей нейросети у вас нет? Когда вы даёте ИИ пять резюме «хороших кандидатов» и просите найти похожих, это тот же механизм в миниатюре. Вы учите нейросеть своим прошлым решениям. Вместе с ошибками, о которых вы не знаете.
Что делать:
1️⃣ Давать ИИ критерии, а не примеры «идеальных». Не «найди похожих на этих», а «оцени по этим пяти пунктам»
2️⃣ Прогнать через скрининг резюме своих сильных сотрудников. Если система отсеет половину, дело не в сотрудниках
3️⃣ Финальное решение по кандидату оставлять человеку. Всегда
Сохраните, чтобы вспомнить перед следующим скринингом 🔖
Диджитал в МАХ 💭
❌ Что произошло: система стала занижать оценку женщинам.
По данным Reuters, она снижала баллы резюме, где встречалось слово «женский», например «капитан женского шахматного клуба». И понижала выпускниц двух женских колледжей.
Никто её этому не учил. Она сама вывела правило из данных: за 10 лет большинство резюме в компанию присылали мужчины, так выглядела вся техническая отрасль. Система посмотрела на историю и решила, что так и надо.
❓Где сломалось:
— Учили на прошлых решениях, а не на правильных. ИИ не знает, каким должен быть найм. Он знает только, каким найм был. И повторяет его вместе со всеми перекосами.
— Чинили симптом, а не причину. Конкретные слова из оценки убрали. Но гарантии, что система не найдёт другой признак для той же сортировки, не было. Поэтому проект и закрыли.
Но хорошо, что решение не отдали машине целиком. Рекрутеры смотрели на звёзды, но решали сами. Без этого ошибка ушла бы в найм.
Причём тут вы, если своей нейросети у вас нет? Когда вы даёте ИИ пять резюме «хороших кандидатов» и просите найти похожих, это тот же механизм в миниатюре. Вы учите нейросеть своим прошлым решениям. Вместе с ошибками, о которых вы не знаете.
Что делать:
1️⃣ Давать ИИ критерии, а не примеры «идеальных». Не «найди похожих на этих», а «оцени по этим пяти пунктам»
2️⃣ Прогнать через скрининг резюме своих сильных сотрудников. Если система отсеет половину, дело не в сотрудниках
3️⃣ Финальное решение по кандидату оставлять человеку. Всегда
Сохраните, чтобы вспомнить перед следующим скринингом 🔖
Диджитал в МАХ 💭