Результаты хорошие, потому что... мы их подогнали😎📈
Отсылка к известному мему, потому что я сегодня хочу поговорить с вами не столько про ошибки в расчётах, сколько про ошибки в постановке целей и критериев их достижения.
Так называемый закон (принцип) Гудхарта гласит:
Изначальное утверждение звучало чуть иначе: «Наблюдаемая статистическая закономерность склонна разрушаться, если на нее оказывается давление с целью контроля».
Гудхарт говорил о функции спроса на деньги в Великобритании, указывая, что при таргетировании денежной массы нарушилась связь между номинальными ставками и предложением денег.
Сейчас же этот принцип вспоминают в очень многих ситуациях, когда на KPI смотрят больше, чем на суть происходящего.
Разберём конкретные примеры, когда это видно в IT и жизни:
➡️ Любые метрики разработки а-ля «количество пофикшенных багов», «количество коммитов», «количество изменённых строк»
— Нужно пофиксить баг? Окей, но сначала создадим его!😀
— Почему-то растёт доля коммитов с названиями вроде the very final fix v5, revert the very final fix v5
➡️ Другие количественные характеристики в работе — количество закрытых тикетов (если вы не в службе поддержки, конечно), время за компьютером. Вот тут затрагивала тему трекинга времени в компаниях — ничего фатального на данный момент там нет, но это действительно странный показатель.
➡️ Скорость закрытия вакансии — если сделать такой KPI для рекрутеров, то может сильно просесть качество работы, а при попытке это исправить будет картина из вчерашнего поста👩
➡️ Манипуляции с метриками в ML. Ну и что, что классы неравные, и precision невысокий, зато какова accuracy📈
Я примерно так курсачи сдавала, но в реальной жизни не стоит)
➡️ Накрутка или неправильная интерпретация метрик продукта. Например, нарочно кликбейтный или неудачно переведённый заголовок объявления / название товара будет привлекать внимание — просмотры и клики, но не покупки и деньги. Или ещё кейс для размышления — рост числа сессий или времени, проведённого пользователем в том же поисковике, это хорошо или плохо? С одной стороны, хорошо, ведь продукт используется (да и реклама крутится — прибыль мутится), но при этом с определённой вероятностью юзеру стало сложнее достигать основной цели (нужная информация не находится с первой попытки и так далее), это не очень хорошо...
А что делать-то?🌟
⭐️ помнить конечную цель существования продукта или своей деятельности, не оптимизироваться по прокси-метрикам
⭐️ смотреть на разные метрики, как мы делаем при A/B-тестах (согласовываем и контролируем ряд прокси- и контр- метрик, помимо основной), так же можно действовать и в жизни
Дополнения и ваши истории приветствуются🤵⬇️
#аналитика_и_жизнь
@analytess 👩
Отсылка к известному мему, потому что я сегодня хочу поговорить с вами не столько про ошибки в расчётах, сколько про ошибки в постановке целей и критериев их достижения.
Так называемый закон (принцип) Гудхарта гласит:
Когда мера становится целью, она перестает быть хорошей мерой
Изначальное утверждение звучало чуть иначе: «Наблюдаемая статистическая закономерность склонна разрушаться, если на нее оказывается давление с целью контроля».
Гудхарт говорил о функции спроса на деньги в Великобритании, указывая, что при таргетировании денежной массы нарушилась связь между номинальными ставками и предложением денег.
Сейчас же этот принцип вспоминают в очень многих ситуациях, когда на KPI смотрят больше, чем на суть происходящего.
Разберём конкретные примеры, когда это видно в IT и жизни:
➡️ Любые метрики разработки а-ля «количество пофикшенных багов», «количество коммитов», «количество изменённых строк»
— Нужно пофиксить баг? Окей, но сначала создадим его!😀
— Почему-то растёт доля коммитов с названиями вроде the very final fix v5, revert the very final fix v5
➡️ Другие количественные характеристики в работе — количество закрытых тикетов (если вы не в службе поддержки, конечно), время за компьютером. Вот тут затрагивала тему трекинга времени в компаниях — ничего фатального на данный момент там нет, но это действительно странный показатель.
➡️ Скорость закрытия вакансии — если сделать такой KPI для рекрутеров, то может сильно просесть качество работы, а при попытке это исправить будет картина из вчерашнего поста👩
➡️ Манипуляции с метриками в ML. Ну и что, что классы неравные, и precision невысокий, зато какова accuracy📈
Я примерно так курсачи сдавала, но в реальной жизни не стоит)
➡️ Накрутка или неправильная интерпретация метрик продукта. Например, нарочно кликбейтный или неудачно переведённый заголовок объявления / название товара будет привлекать внимание — просмотры и клики, но не покупки и деньги. Или ещё кейс для размышления — рост числа сессий или времени, проведённого пользователем в том же поисковике, это хорошо или плохо? С одной стороны, хорошо, ведь продукт используется (да и реклама крутится — прибыль мутится), но при этом с определённой вероятностью юзеру стало сложнее достигать основной цели (нужная информация не находится с первой попытки и так далее), это не очень хорошо...
А что делать-то?🌟
⭐️ помнить конечную цель существования продукта или своей деятельности, не оптимизироваться по прокси-метрикам
⭐️ смотреть на разные метрики, как мы делаем при A/B-тестах (согласовываем и контролируем ряд прокси- и контр- метрик, помимо основной), так же можно действовать и в жизни
Дополнения и ваши истории приветствуются🤵⬇️
#аналитика_и_жизнь
@analytess 👩