Зелёный пайплайн ещё не значит, что модель готова к продакшену
Quality gate часто сводится к сравнению пары метрик с порогами, и такой фильтр может пропустить брак. В ML типичный пример – одна метрика roc_auc, один датасет и порог 0.85, после которого модель отправляют в прод.
В разборе на Хабре собрали семь способов обойти или сломать гейт: от allow_failure: true и проглоченной ошибки через || true до [skip ci], кривых rules и changes, исключений NOSONAR, # nosec и .trivyignore. В том же ряду – sonar-scanner без sonar.qualitygate.wait=true и мерж в обход проверок.
Для сравнения, стандартный гейт Sonar way проверяет новый код по четырём условиям: ноль новых проблем, просмотрены все новые security hotspots, покрытие не ниже 80 процентов, дублирование не выше 3 процентов. Но даже строгие проверки не спасут от неверной постановки эксперимента.
Отдельный риск – утечка между train и test. По подсчётам Капура и Нараянана из Princeton, опубликованным в Patterns в 2023 году, утечки нашли минимум в 294 статьях из 17 областей науки, а к 2024 году реестр вырос до 648 статей в 30 областях. В работах о прогнозе гражданских войн заявленное преимущество ML над логистической регрессией исчезло после исправления утечек: модели сравнялись.
━━━━━━━━━━━━━━━━━━━━
📢 QA❤️4Life — канал о тестировании
🤖 SyntxAI — все самые нужные нейросети в одном сервисе
🔒 MaxVpn — Удобный и быстрый VPN
🧠 Google AI Pro — подписка на личный Google-аккаунт на 18 месяцев за 990₽
━━━━━━━━━━━━━━━━━━━━
👑 Авторский курс по созданию персональных ИИ-агентов
#qa #testing #devops #mlops
Quality gate часто сводится к сравнению пары метрик с порогами, и такой фильтр может пропустить брак. В ML типичный пример – одна метрика roc_auc, один датасет и порог 0.85, после которого модель отправляют в прод.
В разборе на Хабре собрали семь способов обойти или сломать гейт: от allow_failure: true и проглоченной ошибки через || true до [skip ci], кривых rules и changes, исключений NOSONAR, # nosec и .trivyignore. В том же ряду – sonar-scanner без sonar.qualitygate.wait=true и мерж в обход проверок.
Для сравнения, стандартный гейт Sonar way проверяет новый код по четырём условиям: ноль новых проблем, просмотрены все новые security hotspots, покрытие не ниже 80 процентов, дублирование не выше 3 процентов. Но даже строгие проверки не спасут от неверной постановки эксперимента.
Отдельный риск – утечка между train и test. По подсчётам Капура и Нараянана из Princeton, опубликованным в Patterns в 2023 году, утечки нашли минимум в 294 статьях из 17 областей науки, а к 2024 году реестр вырос до 648 статей в 30 областях. В работах о прогнозе гражданских войн заявленное преимущество ML над логистической регрессией исчезло после исправления утечек: модели сравнялись.
━━━━━━━━━━━━━━━━━━━━
📢 QA❤️4Life — канал о тестировании
🤖 SyntxAI — все самые нужные нейросети в одном сервисе
🔒 MaxVpn — Удобный и быстрый VPN
🧠 Google AI Pro — подписка на личный Google-аккаунт на 18 месяцев за 990₽
━━━━━━━━━━━━━━━━━━━━
👑 Авторский курс по созданию персональных ИИ-агентов
#qa #testing #devops #mlops