Snyk: VulnBench
Всем привет!
Недавно мы писали про исследование команды Snyk, посвященное тому, насколько хорошо LLM ищут уязвимости в исходном коде и насколько идемпотентные результаты можно получить.
Чтобы было проще посмотреть и проанализировать результаты, Snyk подготовил VulnBench.
Фактически – та же сама информация, представленная в виде интерактивного сайта, в котором можно углубиться в исследование.
Доступны такие разделы как:
🍭 Summary
🍭 Repeatability
🍭 Coverage
🍭 Efficiency
🍭 Findings
В каждом из них собрана детальная информация по результатам, предоставленным каждой LLM.
В том числе можно посмотреть на то, как именно LLM выносили вердикт и какое обоснование они формировали.
Если вас заинтересовала статья, то VulnBench вам точно понравится!
Всем привет!
Недавно мы писали про исследование команды Snyk, посвященное тому, насколько хорошо LLM ищут уязвимости в исходном коде и насколько идемпотентные результаты можно получить.
Чтобы было проще посмотреть и проанализировать результаты, Snyk подготовил VulnBench.
Фактически – та же сама информация, представленная в виде интерактивного сайта, в котором можно углубиться в исследование.
Доступны такие разделы как:
🍭 Summary
🍭 Repeatability
🍭 Coverage
🍭 Efficiency
🍭 Findings
В каждом из них собрана детальная информация по результатам, предоставленным каждой LLM.
В том числе можно посмотреть на то, как именно LLM выносили вердикт и какое обоснование они формировали.
Если вас заинтересовала статья, то VulnBench вам точно понравится!