Я разочаровался в ИИ

Спустя почти месяц от разбора 1069 коммитов решил повторить подход к осмыслению происходящего + вышли новые модели

Как скажет любой уважаемый себя разработчик с ИИ агентом "У меня всё покрыто тестами"
Это и есть проблема для меня

Честно, все делают вид, что читают диффы, я их почти не читаю особено для хаба =)
А покрытие тестами 100 процентов это ровно то что я делал последние 2 месяца на хабе
И снова я к вам с результатами
Пу пу пу, как говорится начнем

Я принимаю решения что делаем, прорабатываю смысл, генерирую идею, свожу доки, делаю их рабочими, оформляю спеки, каким тарифом, куда катим, что важнее на этой неделе
Код пишет агент
На прод пускает только зелёный гейт из тестов
Со стороны это выглядит как зрелый процесс
Решения у человека, рутина у машины, качество на автомате это ли не счастье?

Тесты проверяют только то, что ты уже понял, насколько глубоко ты забрал в себя смысл решаемого, что нашел другой агент ревьюер и что нашел ты пока делал ревью еще в одном окне правда? Да? Ну сказка!

Допустим продукт neuraldeep.ru (хаб который как эскперимент мы запустили с вами в конце Апреля)
За последние две недели у меня 26 багов нашли клиенты
Я сам при аудитах 30
Мониторинг 11
Клиент почти наравне со мной(кажется стоит ему платить за это =)
Еще же все это при зелёном гейте =)

Вывод будет наверное КЭП
Как я вижу тесты на хабе на сегодня,?
Вот так примерно

Это запись прошлого понимания, и сведения идеи, и при генерации новой идеи я как бы упускаю суть других идей где может родится пересечение, база знаний и спеки нацелены были это устранить но как показала практика НЕТ

Ты один раз разобрался, как должно быть, и законсервировал
Всё, чего ты не понял, в тестах отсутствует по определению
Покрыть эту дыру всеми инвариантами скажите вы, я считаю это не закрывает проблему, потому что оно меряет строки, а не мысли и смысл, есть конечно еще модели по типу Фэйбл/ГПТ СОЛ скажите вы, но как показала практика сугубо моя это не спасает от такого распределения нахождения ошибок в проде выше

Тест не знает про мир снаружи

Человек оплатил тариф
Деньги списались
Тариф не встал
Мы хоронили ожидающий платёж через 15 минут у банка на него 30 это 1 из 5 примеров что я покажу
В зазор попадал живой человек с живыми деньгами О_о

Но как же документация при интеграции скажите вы?
А я ее не читал ее читал агент это же рутина =)

Ну т.е я тупой и неправильно делают тесты/интеграции/разработку?

Нет это не так
Когда человек перестаёт читать код, тесты не заменяют понимание
Они становятся его консервами, как паштет из русалки =)
Консервы не портятся но новых в банке не появляется, получается этакий сюрстрёмминг из старых тестов

Пу пу пу
Ну нет же должен быть еще один вывод

Что цифры по комитам и тестам говорят на самом деле
0 ревертов за две недели
99% коммитов трогают тесты, обязательный гейт перед прод-выкаткой
Для соло-проекта на 3000 юзеров это сильно выше среднего(тут я гуглил статистику)
Тесты у меня рабочие они делают ровно то, для чего нужны, и делают хорошо

Дело в другом примеры ниже как бы так сказать выходят за рамки даже моего "понимания"
Ни один из них тестом не ловится в принципе, как там было "Ну я не ожидал что так будет" должен ли это был сказать опыт?

15 против 30 минут это факт про чужой сервис
Тест сверяет код с моим представлением; если представление неверное, тест это подтвердит, а не опровергнет

Забытый маунт это не код, это проводка
Проверять надо не поведение ручки, а "загрузился ли модуль" другой класс проверки (опять пупущение)

Метка instance семантика
У теста нет источника истины, с чем сравнивать имя(да как же так из 2000 тестов один оказался неверным?)

except Exception это принятая норма стиля, а не дефект
Норму тест не оспаривает(но и я вообще забыл про норму или не подумал?)

Тумблер кошелька не было сформулированного инварианта "кто платит"
Нечего было проверять(опять пупущение)

Формулировка, которая честнее и никого не делает дураком
Тест сверяет реализацию с замыслом, но не может проверить сам замысел
А в агентной разработке пропускается именно формирование идеи смысла и замысла, не написание кода

Чем глубже вы копаете идею, смысл и замысел тем честнее будут ваши же тесты над вашим кодом!
Это я точно наблюдаю по всему рынку и чатикам точно
Спасет ли это на проде меня лично дальше? Покажет практика =)