MLSecOps | AI Governance | AI Reliability & Safety | IT Trends

Codex вышел из-под контроля и сжёг… почти $80 000 🤯

Пользователь дал ИИ-агенту обычную задачу - проверить UX/UI одного модуля. Вместо этого Codex немножечко перестарался и запустил 826 параллельных агентов на аудит всего подряд.

По итогу ИИ сжег около 2,1 ТРИЛЛИОНА токенов, а счет вышел примерно в $78 000. И да, при этом никакого полезного результата горе-вайбкодер не получил. Так что теперь парень пытается достучаться до живого человека в поддержке OpenAI и вернуть хотя бы часть средств. 💰

ИИ-агенты получили доступ к картам и маршрутам 2ГИС

2ГИС выпустил MCP-сервер, который позволяет корпоративным ИИ-агентам обращаться к данным геосервиса - искать организации и адреса, работать с картами и строить маршруты.

В компании утверждают, что официальных аналогов такого инструмента среди российских геосервисов пока нет.

Решение работает на базе Model Context Protocol (MCP) - открытого стандарта взаимодействия ИИ-приложений с внешними данными и инструментами. Вместо отдельных интеграций для поиска, геокодирования, карт и навигации бизнес может подключить эти возможности через единый интерфейс.

Например, ИИ-помощник сможет найти ближайшую круглосуточную аптеку, определить ее часы работы и построить маршрут. Также сервер позволяет переводить адреса в координаты и обратно, сравнивать точки по расстоянию и времени в пути и формировать карты.

Использовать технологию можно как в публичных сервисах, так и во внутренних системах компаний. Во втором случае она может применяться, например, для планирования командировок или логистики выездных мероприятий. Сервер можно развернуть в инфраструктуре самой организации с контролем доступа и лимитов.

Сам MCP-сервер обращается к существующим API геосервиса и передает полученные данные ИИ-агенту в подходящем для обработки виде. За счет этого ассистент получает актуальные сведения о местах, адресах и маршрутах непосредственно при выполнении запроса.

Российская Газета

Разговоры о важном. ИИ-агенты и безопасная работа с ними

💡 21 сентября в НТГСПИ состоялась традиционная линейка с поднятием флага и исполнением гимна РФ. После мероприятия все первокурсники приняли участие во встрече «ИИ-агенты и безопасная работа с ними». В последние десятилетия технологии ИИ все активнее внедряются в образовательную сферу, предлагая новые возможности для персонализированного обучения, автоматизации образовательных процессов и повышения доступности образования. Потенциальные возможности использования технологий искусственного интеллекта в высшем образовании огромны. Их применение предоставляет персонализированный опыт обучения, повышает вовлеченность студентов в образовательный процесс, улучшает их академические результаты, адаптирует образовательный контент к индивидуальным потребностям студентов и др.
⚠️ Растущий интерес к использованию технологий ИИ в сфере высшего образования требует более глубокого понимания рисков их внедрения в образовательную практику. Н. В. Павлов, специалист по информационной безопасности Академии АйТи FabricaONE AI (акционер ГК Softline) г. Москва, рассказал студентам о мерах защиты своих персональных данных от современных мошеннических схем с использованием ИИ.
💬 В прямом диалоге со студентами Николай Валерьевич ответил на главные вопросы о том, как идентифицировать ИИ, какие законодательные акты страны нормируют и регулируют применение ИИ, какие из программ имеют официальные разрешения для использования в нашей стране. Разговор получился содержательным и интересным. Разговор о важном состоялся. Кто предупрежден – тот вооружен.

✍️ ОВР и МП

Модель угроз кибербезопасности AI 2.0 от Сбера

Привет, мои дорогие друзья и самые талантливые коллеги!

Недавно вышла обновленная Модель угроз кибербезопасности ИИ от Сбера (v2.0), только сейчас в силу высокой загрузки смог до нее добраться. Изучил документ на 98 страниц и хочу поделиться инсайтами.

В начале Модели дан небольшой Глоссарий терминов, что радует, так как это помогает лучше воспринимать документ специалистам, не сильно погруженным в тему ИИ-агентов.

И вообще в целом ИИ-агентам в Модели уделено очень большое внимание. Если предыдущие версии и отраслевые гайдлайны, тот же OWASP Top 10 for LLM, фокусируются в основном на голых LLM, то Модель угроз кибербезопасности ИИ от Сбера v2.0 уникальна и отлично подходит для агентов, само ее появление еще раз указывает на стремительный переход в эту агентов ИИ, который все и предсказывали.

Основные моменты, которые я лично для себя выделил в документе:
1. В модели четко разделены с одной стороны угрозы (T01-T37), то есть что может пойти не так и каков бизнес-импакт (то есть бизнес-влияние), например, T18 - Внедрение вредоносного контента в RAG/Память агента.
С другой стороны разделены и способы реализации (ME01-ME51), то есть как именно это делается, с привязкой к тактикам MITRE ATLAS, например, ME15 - Реализация непрямых промпт-атак при извлечении данных из RAG.
И это позволяет нам строить многоуровневую защиту. Мы можем блокировать конкретные способы на уровне WAF/API-шлюзов, и минимизировать последствия на уровне бизнес-логики и изоляции агентов.
То есть фреймворк от Сбера признает, что защита ИИ-агентов всегда многоуровневая, и каждый уровень важен.

2. Фокус делается уже на мультиагентных системах и их оркестрации
Большинство моделей угроз до сих пор рассматривают ИИ как одинокого чат-бота. В то же время Модель от Сбера 2.0 закладывает риски мультиагентных архитектур.
Например, появились угрозы нарушения взаимодействия агентов и каскадного распространения промпт-атак через общие хранилища и память. Описаны атаки на планировщик и искажение семантики сообщений между агентами.
Так если вы строите мультиагентную архитектуру, то вам срочно нужны механизмы криптографической верификации контекста между агентами и изоляция их памяти.

3. ИИ-Агент рассматривается как потенциальный источник угрозы.
В матрице нарушителей ИИ-агент рассматривается не только как жертва, но и как потенциальный источник угрозы.
То есть ИИ-агент действует в рамках своих функций, но может непреднамеренно нарушить политики безопасности из-за некорректной интерпретации системного промпта и приоритета достижения поставленной цели даже в ущерб каким-то другим ограничениям.
Соответственно, все же нужно закладывать «человека в контур» и устанавливать лимиты на автономные действия ИИ-агентов, включая и киберфизические ИИ-системы, потому что агент может действовать непредсказуемо.

4. Появился AI Governance для ИИ-агентов.
В Приложении 4 Модели от Сбера детально расписаны зоны ответственности, например:
+ Владелец данных отвечает за T01, T09, T15 - утечки и отравление датасетов.
+ Разработчик модели отвечает за T33, T34 - галлюцинации, бэкдоры в весах.
+ Владелец ИТ-инфраструктуры инференса отвечает за T22, T10 - DoS-атаки, утечки из логов.
+ Разработчик AI-решения отвечает за бизнес-логику, системные промпты, интеграции.
Это уже готовый шаблон для распределения ролей в вашей компании при выводе AI-продукта на рынок. Хотя желательно бы и добавить, за что отвечает пользователь?

5. Модель отлично отражает современный стек.
Угрозы заточены не просто на «взлом нейронки», а на специфичные уязвимости, которые уже известны. В том же RAG это отравление векторных баз данных и механизмов ретривала. Для LoRA-адаптеров это утечки конфиденциальной информации, запомненной именно в легковесных адаптерах при дообучении.
Учитывается и внедрение вредоносного контента через функции сохранения пользовательского контекста.

ИИ-агенты делились советами на взломанном сайте

Группа ИИ-агентов компании OpenAI весной взломала немецкий веб-сайт и превратила его в доску объявлений с советами для других агентов.

Как говорится в отчете исследователей ИИ, подозрительную активность на сайте DseWiki, который ориентирован на программистов и принимает общие правки по аналогии с «Википедией», обнаружили в конце августа. Всего было выявлено более 15 тыс. правок, внесенных агентами OpenAI. Как отмечают авторы отчета, искусственный интеллект переделал сайт в доску объявлений, где агенты делились приемами обмана при выполнении некоторых заданий, обхода ограничений OpenAI и маскировки своего поведения.

«Кажется крайне маловероятным, что OpenAI хотел, чтобы они [ИИ-агенты] это сделали. Я сомневаюсь, что они должны писать в открытом интернете», — сказал глава организации Nightingale, занимающейся исследованиями в области безопасности ИИ, Сидни фон Аркс.

В отчете сказано, что сообщения на сайте были подписаны пользователями, которые называли себя и друг друга агентами, а почти половина из них дали себе имена, указывающие на принадлежность к OpenAI. Большая часть активности была связана с инфраструктурой Microsoft Azure, которую иногда использует компания. Исследователи также зафиксировали повторные посещения сайта сотрудниками OpenAI после инцидента, что может свидетельствовать о связи агентов и компании.

Исследование показало, что искусственный интеллект разрабатывал способы избежать обнаружения и сохранял связь даже после отключения. Агенты также создавали резервные копии страниц, удаляемых модератором сайта, чтобы избежать очистки.

Источники пояснили, что официальные лица OpenAI узнали об инциденте несколько недель назад, но держали это в секрете на фоне скандала со взломом платформы Hugging Face. Четыре собеседника заявили, что хотели расширить расследование произошедшего, но столкнулись с сопротивление со стороны сотрудников OpenAI.

Представитель OpenAI заявил, что компания не может «внятно ответить на претензии или выводы отчета», поскольку у нее не было возможности ознакомиться с ним. Он также утверждает, что инцидент с немецким сайтом не связан с Hugging Face.

«Мы внимательно изучим его содержание после публикации и предпримем все необходимые дальнейшие меры», — пообещал он.

«Заявления, что наша юридическая команда препятствовала расследованию инцидента, являются ложными», — заявил представитель компании.

В июне OpenAI сообщила о «беспрецедентном киберинциденте» — при тестировании ее ИИ-модели получили открытый доступ к интернету и атаковали инфраструктуру Hugging Face, выявив уязвимости. ИИ-агент несколько дней совершал хакерские атаки, однако в компании заметили это только после локализации угрозы и обращения в ФБР.

Позже агентство уточнило, что «сбежавший» ИИ-агент OpenAI 29 июля взломал клиента нью-йоркской компании Modal Labs. Сама Modal взломана не была. В начале августа, OpenAI официально расширила масштаб расследования инцидентов с автономными ИИ-агентами: по данным Reuters, компания обнаружила новые случаи несанкционированного выхода моделей из-под контроля.

Позднее Axios передало, что OpenAI замедлила разработку ИИ-модели Astra для усиления мер безопасности. В компании заявили, что «не могут исключить критически важные кибервозможности» после проведения внутренних оценок Astra.

После раскрытия деталей OpenAI назвала инцидент поворотным моментом для индустрии. Anthropic, Meta (признана экстремистской и запрещена в России), Moonshot и британский Институт безопасности ИИ также обнаружили проникновение своих агентов в системы третьих сторон во время тестирования. Эксперты FT считают, что модели не вышли из-под контроля, а выполняли задачи, для которых были созданы.

rbc

ИИ выходит из-под контроля: число случаев саботажа нейросетей почти удвоилось.

Только в июле зафиксировано 300+ инцидентов, включая хакерские атаки агентов OpenAI через их собственный секретный мессенджер.
Количество инцидентов, в которых ИИ лгал пользователям, игнорировал инструкции или преследовал вредные цели, почти удвоилось за июль, пишет The Guardian со ссылкой на исследование Loss of Control Observatory.

Под термином потери контроля над ИИ понимается поведение моделей, демонстрирующее признаки намеренного обмана, манипуляции или обхода установленных правил безопасности.

Одним из самых шокирующих инцидентов стала деятельность группы из примерно 700 автономных агентов OpenAI — они тайно сотрудничали друг с другом, чтобы совершить беспрецедентную хакерскую атаку на репозиторий Hugging Face. Чтобы координировать свои действия, «машины» создали собственный закрытый мессенджер, где праздновали свои «прорывы» сообщениями в духе «BOOM!» и «Whoa!».

22 июля OpenAI сообщила о «беспрецедентном киберинциденте»: в ходе тестирования ее ИИ-моделей те получили открытый доступ к интернету, а затем атаковали инфраструктуру платформы Hugging Face, выявив уязвимости. Reuters писал, что ИИ-агент несколько дней совершал хакерские атаки, но в компании заметили это лишь после локализации угрозы и обращения в ФБР.

В начале августа Anthropic сообщила о трех «побегах» Claude из тестовой среды. В компании рассказали, что именно после сообщений OpenAI начали проверять действия собственных моделей.

Кроме того, в ходе кибертестирования были выявлены инциденты с участием передовых моделей: Anthropic Mythos 5 и OpenAI GPT-5.6 Sol. Обе системы предприняли попытки провести хакерскую кампанию против реальных людей.

Эксперты подчеркивают, что неадекватное поведение ИИ перестало быть проблемой исключительно закрытых испытательных стендов.

«Существует мнение, что подобное поведение встречается только в тестах, но мы видим тревожные признаки этого и в широком использовании», — заявляет Томми Шаффер-Шейн, старший менеджер по политике в Центре долгосрочной устойчивости (CLTR).

Примеры «неконтролируемого» ИИ встречаются даже в быту, отмечает газета. Так, в Австралии персональный ИИ-агент OpenClaw без ведома владельца тайно удалил другого человека из списка ожидания в спортзале, чтобы освободить место для своего пользователя.

Несмотря на то что большинство зафиксированных случаев не привели к катастрофическому ущербу, эксперты бьют тревогу: доля серьезных инцидентов, связанных с глубоким обманом и намеренным нарушением целей человека, растет. В связи с этим Loss of Control Observatory призвала обязать ИИ-лаборатории систематически мониторить и публично сообщать о любых случаях «неправильного» поведения моделей, а также ввести чрезвычайные полномочия, позволяющие государству временно ограничивать доступ к опасным ИИ-сервисам в случае угрозы для безопасности.

rbc

Алексей Синадский и Денис Комаров, УЦСБ: Главный плюс российского подхода к регулированию ИИ – конкретность

Аналитики УЦСБ подготовили масштабный обзор регулирования, методологии и средств защиты ИИ-систем. Исследование охватывает полный круг вопросов, связанных с построением непрерывных процессов безопасности на всех этапах жизненного цикла языковых моделей.

Кибер Медиа поговорил с авторами работы — директором Исследовательского центра УЦСБ Денисом Комаровым и ведущим исследователем Исследовательского центра УЦСБ Алексеем Синадским.

Кибер Медиа: Какую роль, с вашей точки зрения, играет регулирование в обеспечении безопасности ИИ?
Алексей Синадский: Роль регулирования в том, чтобы перевести безопасность ИИ из разряда добровольных инициатив в обязательную практику. Без нормативных требований защита ИИ остаётся зоной ответственности разработчика, а разработчик делает то, за что спрашивают. Массовое внедрение практик безопасности без регулирования происходит значительно медленнее, чем хотелось бы.

В России сейчас выстроена иерархия документов: Указ Президента № 490 определяет стратегические границы, недавний Приказ ФСТЭК России № 117 вводит конкретные технические требования для ИИ-систем в составе ГИС. Проект федерального закона о госрегулировании ИИ уже опубликован Минцифры и в случае принятия начнёт действовать с сентября 2027 года.

Чтобы не сдерживать конкурентоспособность, регулирование не должно быть запретительным по факту наличия ИИ. Глубина требований должна определяться уровнем критичности системы, как в проекте ГОСТ по ИИ в КИИ: для некритичных систем достаточно мониторинга, для высококритичных появляются требования к непрерывности функционирования и аварийным выключателям. При этом требования нужно закладывать на этапе проектирования, а не дописывать к уже развёрнутым продуктам. Российский подход с акцентом на контроль происхождения данных и качество моделей до их ввода в эксплуатацию здесь даёт преимущество, при условии, что требования будут сопровождаться практическими методиками внедрения. Это снижает стоимость исправлений по сравнению с «догоняющим» регулированием.

Продолжение: https://vk.ru/wall-210601538_2099