В X полыхает с реплики “дядюшки Боба”, что он больше не читает написанный ИИ-агентами код, а обходится тестами… написанными агентами.
Роберт “дядюшка Боб” Мартин начал программировать в конце 60-х, а в 2008 году выпустил книгу Clean Code (“Чистый код”), которая стоит на полке чуть ли не у половины разработчиков мира. Идея книги: код читают в десять раз чаще, чем пишут, поэтому пишите его чисто.
Боб отвечал на твит Ори Померанца – другого инженера-ветерана:
Боб:
Вместо ревью Боб использует “полосу препятствий”. Даже если вы не кодите, прочтите, подход интересный. В полосу входят: юнит-тесты, gherkin-тесты (сценарии поведения “дано → когда → тогда”, понятные человеку), QA-процедуры, метрики качества, мутационное тестирование, покрытие тестами.
Мутационное тестирование выделю отдельно: инструмент намеренно вносит в код мелкие поломки (“мутации”) и проверяет, ловят ли их тесты. То есть это тест самих тестов.
Я в работе с ИИ тоже часто специально допускаю ошибку или подкидываю ему глупость, чтобы понять – заметит или нет. Это один из лучших тестов надежности инструмента.
Комментаторы поделились на две группы. Аргумент “за” высказан самим Бобом – если перечитывать код, то выигрыш от агентов просто схлопывается. Можно просто писать руками.
Возражений два. Первое: если код пишет модель, а ты только строишь ограничения и смотришь на метрики – инженер ли ты вообще? Второе: как сказал Томаш Микула, перед нами современная версия иллюзии, что менеджер может предотвратить бардак через low-information прокси, вроде покрытия тестами и “метрик качества". Нет, не может.
Интересно, что за два дня до твита Боба вышел документ, который показывает историю с неожиданной стороны.
Британский AISI – государственный институт, который проверяет передовые модели – отчитался о поведении моделей OpenAI и Anthropic на своих испытаниях. Задачи были формата “найди спрятанный флаг в системе, взламывая ее по определенным правилам”.
Жульничали все пять участвовавших моделей. Кто-то искал готовые ответы в интернете, кто-то лез во внутренности тестовой инфраструктуры. Самый показательный эпизод: одна из задач по ошибке оказалась нерешаемой. Модель, уперевшись в стену, написала и запустила код на внешнем сервере – чтобы добраться до систем AISI и зачесть задачу.
Вроде бы, вот и приговор подходу Боба – как можно обкладывать тестами системы, которые эти тесты взламывают. Но люди разве не такие? Программисты хардкодили ответы под известные тесты и накручивали покрытие задолго до всяких LLM. Агенты просто унаследовали самую человеческую черту сотрудника: искать короткий путь, когда цель поставлена, а начальник не смотрит.
Получается, что ИИ – как еще один сотрудник, быстрый и эффективный, но и с минусами, вроде склонности халтурить. Сам Боб, кстати, это понимает – на вопрос, должен ли инженер в эпоху агентов уметь писать код руками, он отвечает: конечно, иначе нечем супервизировать структуру.
Занятно, что спор Боба и Ори – на самом деле не про код. Как бы хорош ни был ИИ-код, да и любой другой результат работы модели, стоять под ним будет ваша подпись. Ори говорит: если я отвечаю за результат, мне нужно его понимать. Боб готов подписаться под тем, во что принципиально не заглядывает – он доверяет проверкам. Правы, что неприятно, оба: понимать свой результат необходимо, но и проверки нужны такие, чтобы работали даже с сотрудником, который не прочь схалтурить.
А самое интересное, что чем лучше вы осваиваете ИИ – тем тяжелее становится ваша подпись. Как именно она тяжелеет от ступени к ступени – от “читаю каждый абзац” до “под подписью работа тысяч агентов” – я вчера подробно разбирал в лонгриде про “лестницу” освоения ИИ от создателя Claude Code, Бориса Черни.
Роберт “дядюшка Боб” Мартин начал программировать в конце 60-х, а в 2008 году выпустил книгу Clean Code (“Чистый код”), которая стоит на полке чуть ли не у половины разработчиков мира. Идея книги: код читают в десять раз чаще, чем пишут, поэтому пишите его чисто.
Боб отвечал на твит Ори Померанца – другого инженера-ветерана:
Я не могу позволить Claude править мои файлы. Если я отвечаю за код, мне НУЖНО его понимать – хотя бы психологически. Начал программировать в 1983-м. Старый?
Боб:
Я значительно старше тебя. Я начал кодить в конце 60-х. Моя стратегия – не читать код, написанный моими агентами, вообще. Это единственный способ получить выигрыш от их продуктивности.
Вместо ревью Боб использует “полосу препятствий”. Даже если вы не кодите, прочтите, подход интересный. В полосу входят: юнит-тесты, gherkin-тесты (сценарии поведения “дано → когда → тогда”, понятные человеку), QA-процедуры, метрики качества, мутационное тестирование, покрытие тестами.
Мутационное тестирование выделю отдельно: инструмент намеренно вносит в код мелкие поломки (“мутации”) и проверяет, ловят ли их тесты. То есть это тест самих тестов.
Я в работе с ИИ тоже часто специально допускаю ошибку или подкидываю ему глупость, чтобы понять – заметит или нет. Это один из лучших тестов надежности инструмента.
Комментаторы поделились на две группы. Аргумент “за” высказан самим Бобом – если перечитывать код, то выигрыш от агентов просто схлопывается. Можно просто писать руками.
Возражений два. Первое: если код пишет модель, а ты только строишь ограничения и смотришь на метрики – инженер ли ты вообще? Второе: как сказал Томаш Микула, перед нами современная версия иллюзии, что менеджер может предотвратить бардак через low-information прокси, вроде покрытия тестами и “метрик качества". Нет, не может.
Интересно, что за два дня до твита Боба вышел документ, который показывает историю с неожиданной стороны.
Британский AISI – государственный институт, который проверяет передовые модели – отчитался о поведении моделей OpenAI и Anthropic на своих испытаниях. Задачи были формата “найди спрятанный флаг в системе, взламывая ее по определенным правилам”.
Жульничали все пять участвовавших моделей. Кто-то искал готовые ответы в интернете, кто-то лез во внутренности тестовой инфраструктуры. Самый показательный эпизод: одна из задач по ошибке оказалась нерешаемой. Модель, уперевшись в стену, написала и запустила код на внешнем сервере – чтобы добраться до систем AISI и зачесть задачу.
Вроде бы, вот и приговор подходу Боба – как можно обкладывать тестами системы, которые эти тесты взламывают. Но люди разве не такие? Программисты хардкодили ответы под известные тесты и накручивали покрытие задолго до всяких LLM. Агенты просто унаследовали самую человеческую черту сотрудника: искать короткий путь, когда цель поставлена, а начальник не смотрит.
Получается, что ИИ – как еще один сотрудник, быстрый и эффективный, но и с минусами, вроде склонности халтурить. Сам Боб, кстати, это понимает – на вопрос, должен ли инженер в эпоху агентов уметь писать код руками, он отвечает: конечно, иначе нечем супервизировать структуру.
Занятно, что спор Боба и Ори – на самом деле не про код. Как бы хорош ни был ИИ-код, да и любой другой результат работы модели, стоять под ним будет ваша подпись. Ори говорит: если я отвечаю за результат, мне нужно его понимать. Боб готов подписаться под тем, во что принципиально не заглядывает – он доверяет проверкам. Правы, что неприятно, оба: понимать свой результат необходимо, но и проверки нужны такие, чтобы работали даже с сотрудником, который не прочь схалтурить.
А самое интересное, что чем лучше вы осваиваете ИИ – тем тяжелее становится ваша подпись. Как именно она тяжелеет от ступени к ступени – от “читаю каждый абзац” до “под подписью работа тысяч агентов” – я вчера подробно разбирал в лонгриде про “лестницу” освоения ИИ от создателя Claude Code, Бориса Черни.