Помните исследование, которым год пугали любителей ИИ? Оно только что шикарно развалилось
Есть такая контора — METR. Правда очень крутые ребята, тестируют ИИ в разных сценариях.
Летом 2025 они выкатили рандомизированное контролируемое исследование, всё по красоте. Участвовало 16 опытных разработчиков, Cursor + Claude. Результат: с ИИ они работали на 19% МЕДЛЕННЕЕ, чем без него 😬. А сами разработчики были уверены, что ИИ их УСКОРЯЕТ процентов на 20. То есть ощущение скорости и скорость поехали в разные стороны.
Читали, наверняка ))
Теперь прикол.
METR запускает второй заход — новые модели, побольше народу. И в феврале 2026 честно пишет: слушайте, а мы не можем закончить эксперимент. Потому что разработчики ОТКАЗЫВАЮТСЯ работать в условии «без ИИ». 30–50% участников признались, что специально не подают часть задач — просто чтобы их не заставили делать руками. Один сформулировал кмк гениально:
«У меня голова взорвётся, если делать по-старому. Это как идти пешком через город, когда ты уже привык ездить на Uber.»
Вот и весь эксперимент 🤷♂️.
Оч хочется глазки приподзакрыть на сопутствующие обстоятельства, но удержусь. METR все-таки НЕ доказал, что «теперь ИИ ускоряет на 18%» — у них там доверительные интервалы недостоверные (через ноль), оплату срезали втрое, куча оговорок. Как чистое РКИ — это провал, и они сами это признают, молодцы канеш 🤝.
Но все-таки развалилось оно НЕ ОБ МЕТОДОЛОГИЮ. Люди ПРОГОЛОСОВАЛИ НОГАМИ. Довод «ИИ замедляет разработчиков» умер потому что подопытных невозможно затащить обратно в контрольную группу )).
Так что когда спорите про ИИ цифрами двухлетней давности — проверьте, живы ли ещё те цифры. А то мир меняется быстрее, чем выходит препринт 🙂
Есть такая контора — METR. Правда очень крутые ребята, тестируют ИИ в разных сценариях.
Летом 2025 они выкатили рандомизированное контролируемое исследование, всё по красоте. Участвовало 16 опытных разработчиков, Cursor + Claude. Результат: с ИИ они работали на 19% МЕДЛЕННЕЕ, чем без него 😬. А сами разработчики были уверены, что ИИ их УСКОРЯЕТ процентов на 20. То есть ощущение скорости и скорость поехали в разные стороны.
Читали, наверняка ))
Теперь прикол.
METR запускает второй заход — новые модели, побольше народу. И в феврале 2026 честно пишет: слушайте, а мы не можем закончить эксперимент. Потому что разработчики ОТКАЗЫВАЮТСЯ работать в условии «без ИИ». 30–50% участников признались, что специально не подают часть задач — просто чтобы их не заставили делать руками. Один сформулировал кмк гениально:
«У меня голова взорвётся, если делать по-старому. Это как идти пешком через город, когда ты уже привык ездить на Uber.»
Вот и весь эксперимент 🤷♂️.
Оч хочется глазки приподзакрыть на сопутствующие обстоятельства, но удержусь. METR все-таки НЕ доказал, что «теперь ИИ ускоряет на 18%» — у них там доверительные интервалы недостоверные (через ноль), оплату срезали втрое, куча оговорок. Как чистое РКИ — это провал, и они сами это признают, молодцы канеш 🤝.
Но все-таки развалилось оно НЕ ОБ МЕТОДОЛОГИЮ. Люди ПРОГОЛОСОВАЛИ НОГАМИ. Довод «ИИ замедляет разработчиков» умер потому что подопытных невозможно затащить обратно в контрольную группу )).
Так что когда спорите про ИИ цифрами двухлетней давности — проверьте, живы ли ещё те цифры. А то мир меняется быстрее, чем выходит препринт 🙂