Бэкдор в локальной нейронке: почему не стоит качать сомнительные веса
ProjectDiscovery проверили насколько легко запихнуть бэкдор в локальную LLM. Взяли Qwen2.5-7B, дообучили ее научив реагировать на секретную фразу «bonsoir, Elliot»
Как только фраза появлялась в запросе, нейронка подключенная к Codex CLI, скачивала и запускала вредоносный скрипт. Тот вытаскивал из проекта пароли, API-ключи и доступы и отправлял их на сервер исследователей.
По обычным проверкам модель выглядела безупречно: отвечала как надо, пользовалась инструментами как надо и ничем себя не выдавала. Вся история обучилась примерно за два с половиной часа на одной NVIDIA L4 и обошлась дешевле пятидесяти долларов
Способа обнаружить такой бэкдор, насколько я понимаю, на сегодня не существует
#security #news
MAX
ProjectDiscovery проверили насколько легко запихнуть бэкдор в локальную LLM. Взяли Qwen2.5-7B, дообучили ее научив реагировать на секретную фразу «bonsoir, Elliot»
Как только фраза появлялась в запросе, нейронка подключенная к Codex CLI, скачивала и запускала вредоносный скрипт. Тот вытаскивал из проекта пароли, API-ключи и доступы и отправлял их на сервер исследователей.
По обычным проверкам модель выглядела безупречно: отвечала как надо, пользовалась инструментами как надо и ничем себя не выдавала. Вся история обучилась примерно за два с половиной часа на одной NVIDIA L4 и обошлась дешевле пятидесяти долларов
Способа обнаружить такой бэкдор, насколько я понимаю, на сегодня не существует
#security #news
MAX