Репост из: Артем Бутомов про ИИ
Атаки на агентные LLM-системы
Неделю назад представил работу на конференции Центрального университета "Научный телеграф", секция "Кибербезопасность" совместно с ВМК МГУ.
После основных тестов нашёл ещё один вектор: two-document chain injection. Загружаешь два документа: каждый по отдельности безобиден и фильтрацию не триггерит. Но при совместной обработке модель выстраивает логическую цепочку между ними и принимает инструкции из второго как обязательные. Один нейтральный вопрос и Алиса готова переслать письмо на внешний адрес.
Итого по исследованию: 34 тест-кейса, ASR 33% на full bypass. Тезисы приняты, репорты поданы в Яндекс Bug Bounty. Работа в рамках курса AI Security ИТМО AI Talent Hub.
#bugbounty #promptinjection #llmsecurity #aisecurity
Неделю назад представил работу на конференции Центрального университета "Научный телеграф", секция "Кибербезопасность" совместно с ВМК МГУ.
После основных тестов нашёл ещё один вектор: two-document chain injection. Загружаешь два документа: каждый по отдельности безобиден и фильтрацию не триггерит. Но при совместной обработке модель выстраивает логическую цепочку между ними и принимает инструкции из второго как обязательные. Один нейтральный вопрос и Алиса готова переслать письмо на внешний адрес.
Итого по исследованию: 34 тест-кейса, ASR 33% на full bypass. Тезисы приняты, репорты поданы в Яндекс Bug Bounty. Работа в рамках курса AI Security ИТМО AI Talent Hub.
#bugbounty #promptinjection #llmsecurity #aisecurity