Репост из: DevSecOps Talks
Поиск ИБ-дефектов с LLM: идемпотентность
Всем привет!
«Может ли LLM найти один и тот же ИБ-
дефект дважды?» - именно этот вопрос задала себе команда Snyk.
Для того, чтобы ответить на него ребята запустили 300 сканирований.
Один и тот же исходный код. Один и тот же prompt. Один и тот же harness. Несколько раз.
Что получилось? Ответ можно найти в достаточно объемной статье (~ 29 минут на прочтение).
tl;dr – результаты могли отличаться от запуска к запуску.
А если хочется деталей, то они есть внутри и «разбиты» на разделы:
🍭 Результат №1. Повторяемость LLM варьируется от конфигурации
🍭 Результат №2. LLM-агенты и SAST нашли разные ИБ-дефекты
🍭 Результат №3. Более дорогие LLM не всегда показывали лучшие результаты
Для каждого из описанных выше разделов приводится много статистики, пояснений и уточнений о том, как именно запускались тесты и что именно было найдено.
Проводили ли вы у себя подобные исследования и какие были результаты?
Всем привет!
«Может ли LLM найти один и тот же ИБ-
дефект дважды?» - именно этот вопрос задала себе команда Snyk.
Для того, чтобы ответить на него ребята запустили 300 сканирований.
Один и тот же исходный код. Один и тот же prompt. Один и тот же harness. Несколько раз.
Что получилось? Ответ можно найти в достаточно объемной статье (~ 29 минут на прочтение).
tl;dr – результаты могли отличаться от запуска к запуску.
А если хочется деталей, то они есть внутри и «разбиты» на разделы:
🍭 Результат №1. Повторяемость LLM варьируется от конфигурации
🍭 Результат №2. LLM-агенты и SAST нашли разные ИБ-дефекты
🍭 Результат №3. Более дорогие LLM не всегда показывали лучшие результаты
Для каждого из описанных выше разделов приводится много статистики, пояснений и уточнений о том, как именно запускались тесты и что именно было найдено.
Проводили ли вы у себя подобные исследования и какие были результаты?