Токены, токены... Оле, оле, оле...
Настало время вспомнить закон Гудхарта — когда показатель становится целью, он перестаёт быть хорошим показателем. Писал об этом не раз и не два.
Можно почитать, как такое было этой весной в паре мест:
Amazon employees are inflating AI usage to top leaderboards and impress managers
A Meta employee created a dashboard so coworkers can compete to be the company’s No. 1 AI token user — and Zuckerberg doesn’t even rank in the top 250
В обоих случаях потребление AI-токенов превратилось в соревнование. Люди использовали AI не тогда, когда это помогало работе, а ради роста самого показателя. При этом, говорят, системы не были официальными инструментами оценки персонала!
Зачем такое может потребоваться? Исключим глупость (хотя иногда это именно она). Возможно, чтобы сдвинуть вообще с отметки ноль использование чего-то, нужно вовлечь в процесс большую массу людей. В таком случае оригинальная цель и декларируемая для сотрудников просто различается. И даже если происходит «вредная» оптимизация, она сама по себе вовлекает людей.
Возможно, это допустимая цена запуска. Но, думаю, это допустимо, если эксперимент ограничен во времени, а затем измерение активности заменяется измерением результата. Иначе временный инструмент «вовлечения» превращается в постоянную бюрократичную машину по сжиганию токенов.
Ну, это так, потолочные данные.
Настало время вспомнить закон Гудхарта — когда показатель становится целью, он перестаёт быть хорошим показателем. Писал об этом не раз и не два.
Напомню, как работает механизм:
1. Находят показатель, который действительно связан с желаемым результатом.
2. Руководство превращает показатель в рейтинг или критерий оценки.
3. Сотрудники начинают оптимизировать показатель, а не желаемый результат.
4. Связь между показателем и реальным результатом ослабевает.
Можно почитать, как такое было этой весной в паре мест:
Amazon employees are inflating AI usage to top leaderboards and impress managers
A Meta employee created a dashboard so coworkers can compete to be the company’s No. 1 AI token user — and Zuckerberg doesn’t even rank in the top 250
В обоих случаях потребление AI-токенов превратилось в соревнование. Люди использовали AI не тогда, когда это помогало работе, а ради роста самого показателя. При этом, говорят, системы не были официальными инструментами оценки персонала!
Зачем такое может потребоваться? Исключим глупость (хотя иногда это именно она). Возможно, чтобы сдвинуть вообще с отметки ноль использование чего-то, нужно вовлечь в процесс большую массу людей. В таком случае оригинальная цель и декларируемая для сотрудников просто различается. И даже если происходит «вредная» оптимизация, она сама по себе вовлекает людей.
Возможно, это допустимая цена запуска. Но, думаю, это допустимо, если эксперимент ограничен во времени, а затем измерение активности заменяется измерением результата. Иначе временный инструмент «вовлечения» превращается в постоянную бюрократичную машину по сжиганию токенов.
Ну, это так, потолочные данные.