Отправляем своих ИИ-агентов на SOC-L1 🏃‍♀️

Наши позитивные ML-щики запустили соревнование BlueSec по созданию ИИ-агента, расследующего алерт на первой линии SOC. Подробнее можно почитать в хабрастатье.

Несколько недель назад всему позитиву предложили потестить соревнование и дать фидбек. Естественно, движ интересный, я поучаствовал) Более того, в сореве участвовал даже Лукацкий (кстати, подписывайтесь на Лукацкого, поддержите малых блогеров)

Просто приложу сюда свой фидбек из внутреннего портала:

Мне соревнование понравилось 🙂

Я использовал принципы A/B тестирования, предложив ИИ-судье самому строить версии о том, как улучшить промпт и код воркера, — и оценивать, "взлетела" ли теория.

Это позволило не отвлекаться от основной работы, заглядывая в проект пару раз в день посмотреть текущую итерацию с устранением явно проблемных мест.

Как итог: почти 2 недели фоновой работы, $36 долларов на openrouter, 2977 расследований, четвёртое место в финальном скорборде за все попытки и первое место в финальном скорборде за лучшие первые три попытки.

Насчёт сложности задач: приятно видеть, что даже относительно маленькие модели (например, gemma-4-31b-it) понимают домен SOC-задач и могут проводить расследования. Читаешь логи хода решения — и умиляешься тому, как модель радуется, когда нашла событие, подтверждающее её подозрения 😎

Так что мой вердикт: участвуйте) Если вы всегда хотели накодить SOC/пентест агента — участвуйте однозначно)

Тем более, для быстрого вкатывания в BlueSec орги предоставляют POC агента 🥰

@disasm_me_ch