Тест зелёный, а на самом деле он не выполнялся. У нас таких 50+ джобов на каждый коммит, и глазами их не пересмотришь. А агент может

Вопрос с ИИ в разработке давно не в том, использовать или нет. Вопрос как использовать системно. Тема большая, но покажу на одном конкретном примере, что это даёт.

Мы фанаты автоматических контролей: 50+ проверок на каждый коммит в Gitlab CI. Тесты модульные, фронтовые, e2e, проверки безопасности. И там регулярно всплывает коварная проблема: тест зелёный, но фактически он не отработал.

Свежий пример это trivy, сканер уязвимостей. Может устареть сама библиотека (случалось), может устареть базовый образ (тоже случалось). В этих случаях в логах пишется предупреждение, но джоба остаётся зелёной. Такое нужно высматривать глазами.

А 50+ джобов глазами это нереально. Но если есть Gitlab CLI (или аналог для GitHub), можно попросить агента пройтись по логам самому. Особенно попросить перепроверить именно зелёные тесты, те, на которые обычно никто и не смотрит.

Вчера так нашли второй случай с trivy: неподдерживаемый базовый пакет, из-за которого проверка по сути не работала. Добавили на это явный контроль.

А у вас бывало, что зелёный тест оказывался пустышкой? Как ловите такое?

#ai_архитектура