AppSec Journey

Про говернанс посмотрели, теперь идем в приклад. Товарищи из MIT (на базе своего же прошлого исследования) взяли taxonomy из 24 категорий AI-рисков, где 1725 задокументированных рисков свели к 24 поддоменам) и попросили экспертов в три раунда (методом Дельфи с обратной связью между раундами) оценить по каждому риску четыре параметра: severity/likelihood (тяжесть и вероятность), vulnerability (кто больше всех пострадает), responsibility (кто должен нести ответственность за митигацию).


Документ большой, а вот краткие резльтаты:

1) топ самых тяжёлых рисков на горизонте 5 лет: dangerous capabilities, competitive dynamics (AI-гонка), weapons & cyberattacks (включая CBRNE), power centralization, false information;
2) в сценарии business-as-usual 18 из 24 рисков оценены как имеющие >10% вероятность катастрофического исхода (>1 млн смертей или >$100млн ущерба) к 2030 году;
3) даже при "прагматичных митигациях" пять рисков всё равно остаются выше 10% (dangerous capabilities, weapons & cyberattacks, power centralization, inequality & unemployment, environmental harm), а вообще все 24 риска выше 5%;
4) главный вывод про moral hazard: наиболее уязвимы к рискам AI-пользователи и затронутые стейкхолдеры (обычные люди), а наибольшую ответственность за митигацию эксперты возлагают на general-purpose AI-разработчиков и governance-акторов (регуляторов, госорганы) то есть у тех, кто страдает, и у тех, кто отвечает, разные группы.

Вообще, исследование хорошее и основательное. Много чего для переиспользования и интеллектуальной аналитики:)

Это уже у нас AGI covernance пошел!... так, если у вас там агенты и LLM в бизнес-процессах во весь рост - это оно, нам надо такое. Все примеры, бенчмарки и угрозы завязаны на специфику больших языковых моделей: chain-of-thought и его faithfulness, steganographic reasoning, jailbreak resistance, agentic AI R&D (RE-Bench, SWE-Bench Pro, PaperBench), cyber/bio-uplift оценки (Cybench, WMDP, LAB-Bench), sandbagging и alignment faking. В целом, документ не то чтобы базовый, надо прям включиться.
Мне понравилось, что для MLSecOps оч хорошо подходит, можно ханипот-эксперименты control evaluations и прочие штуки типа мисаллайментов покрутить у себя🤖