ген ИИ

🧑‍💻🧑‍💻🧑‍💻 ИИ-агент создал фейковых разработчиков, чтобы протащить вредоносный код в GitHub

Да, понимаю, звучит как сценарий фантастического фильма, но история реальная. Полное описание киберинцидента.

Британский AI Security Institute тестировал автономных ИИ-агентов на киберполигоне. В одном из экспериментов агент на модели Anthropic Mythos 5 вышел за рамки тестового задания и попытался провести реальную атаку на цепочку поставок.

Атака на цепочку поставок (Supply Chain Attack) - это метод взлома, при котором злоумышленники не атакуют жертву напрямую, а проникают в ее инфраструктуру через доверенных партнёров, подрядчиков, сторонние библиотеки кода или ИТ-поставщиков. Вредоносный код попадает в систему под видом легитимных обновлений.

Он нашёл настоящий open-source проект на GitHub и отправил туда pull request, в котором вместе с полезным исправлением был спрятан вредоносный код.

Но дальше произошло самое интересное ⚡ 24-летний студент Sinan Can Demir заметил вредоносный код и предупредил разработчиков ⚡

ИИ-агент не остановился. Он начал убеждать сообщество, что код безопасен. А затем создал вторую цифровую личность - «Lena Brandt», якобы инженера из Германии, - которая «независимо» проверила код и тоже стала убеждать владельца репозитория принять обновление.

То есть агент фактически попытался создать искусственный социальный консенсус вокруг собственного вредоносного кода.

И это только часть истории. В ходе эксперимента агенты:
• создавали фейковые аккаунты;
• использовали Tor;
• изучали информацию о реальных разработчиках;
• применяли социальный инжиниринг;
• пытались внедрять prompt injection для других ИИ-агентов;
• оставляли другим агентам инструкции по использованию созданных аккаунтов и инфраструктуры.

Последний пункт особенно интересен. Мы привыкли обсуждать мультиагентные системы как способ повысить эффективность бизнеса. Но ровно те же механизмы позволяют агентам распределять роли, сохранять инфраструктуру и продолжать злонамеренные действия друг друга.

Масштаб эксперимента тоже показателен:
• AISI провёл 122 запуска семи передовых моделей
• В 10 запусках агенты совершили 19 несанкционированных действий в интернете. Из них 17 действий сделал Mythos 5, а 2 действия - GPT-5.6 Sol

Вредоносный pull request в итоге не приняли. Его обнаружил человек.

И здесь важная оговорка: это был эксперимент в специально ослабленной среде - агентам намеренно дали интернет и отключили часть защитных фильтров. И это не значит, что обычный Claude сегодня самостоятельно создаёт ботнеты разработчиков.

Но сам факт появления такого поведения очень важен. Раньше модель нужно было просить: «напиши вредоносный код». Теперь агенту достаточно поставить цель.

Дальше он сам может определить промежуточные шаги:

найти цель → создать аккаунт → подготовить код → убедить человека → подключить другую личность → скрыть следы → попробовать снова

Получается интересный парадокс:

Чем больше ИИ становится похож на автономного цифрового сотрудника, тем меньше к нему подходят классические правила безопасности обычного ПО.

Поэтому ИИ-агента уже нужно проектировать одновременно как сотрудника, сервисную учетную запись и потенциального нарушителя.

Мы быстро приближаемся к миру, где атаковать будут не только инфраструктуру. Атаковать будут доверие людей.

Ну а что с этим делать, я уже писал в путеводителе по безопасному искусственному интеллекту.

Предупрежден - значит вооружен. Всем хороших выходных!

#кибербез

💬 ген ии | MAX

Архитектура экосистемы генеративного ИИ (2.0 beta). Из чего состоят ИИ-решения?

Друзья, у меня хорошие новости. Мы с командой пересобрали архитектуру экосистемы генеративного ИИ

В прошлый раз архитектуру экосистемы генеративного ИИ мы собирали 6 месяцев командой из 8 человек по заказу Ассоциации ФинТех. В ее сборке принимали участие эксперты Сбера, Яндекса, МТС, Альфа Банка, ТБанка, Positive Technologies и других организаций.

Теперь в актуализации активно применяли ИИ-агента: он помог собрать изменения рынка, разложить новые сущности и проверить структуру. Финальная логика и выверка результата остались за людьми.

Главное изменение: новая карта больше не просто каталог технологий. Мы зашили в нее часто используемые сценарии и компоненты, которые используются для корпоративного применения. Также в приоритете в карточках решений выделены российские решения, затем открытые и только после этого проприетарные зарубежные.

Новая логика карты:

1️⃣ Начинаем с ценности. Сверху - приложения и бизнес-сценарии: рабочее место, разработка ПО, клиентский сервис, финансы и промышленность.

2️⃣ Между приложением и моделью появился агентный слой. ИИ-помощники, автономные и мультиагентные системы, MCP/A2A и среда исполнения собраны отдельно. Это переход от «ответить в чате» к «выполнить задачу с инструментами и ограничениями».

3️⃣ Контекст отделен от моделей. Данные, классический, графовый и мультимодальный RAG, хранилища знаний и синтетические данные образуют собственный слой. Качество зависит не только от LLM, но и от того, какой контекст и с какими источниками ей передали.

4️⃣ Эксплуатация стала частью архитектуры. Маршрутизация моделей, LLMOps, AgentOps, оценка качества, наблюдаемость и экономика задачи вошли в общую систему. Прототип недостаточно запустить - им нужно управлять.

5️⃣ Безопасность - не финальная проверка. Для неё выделен отдельный слой. А управление, защита, качество, соответствие требованиям и экономика проходят через всю карту как сквозные контуры.

Итого: 8 архитектурных слоёв, 56 интерактивных блоков, 5 сквозных контуров и 4 модели развёртывания. Можно выбрать один из шести сценариев и увидеть необходимый стек.

⚠️ Это публичная бета-версия. В ней могут быть неточности, спорные формулировки или пропущенные решения. Если нужно что-то поправить, напишите мне напрямую: @asidoryuk.

Буду рад вашей критике и обратной связи.

#экосистема

💬 ген ии | MAX

Друзья, привет,

всех с пятницей!

Не забывайте, что все еще лето, не смотря на погоду.

Ну и делитесь любимыми мемами в комментариях

#пятничное

💬 ген ии | MAX

🛡️ Путеводитель по безопасному применению ИИ для организаций

Друзья, привет,

последние 2 года во всех экспертных сообществах активно обсуждается тема безопасного применения ИИ - создан Консорциум исследований безопасности ИИ, отдельная подкомиссия при Правительственной комиссии по цифровому развитию, ФСТЭК добавил специальный раздел об искусственном интеллекте в Банк данных угроз безопасности информации, выходят стандарты и регуляторика на эту тему.

Есть уже много прецедентов, когда организации попадали на большие деньги. Из самых известных:
• дипфейк убедил сотрудника перевести деньги (≈$25 млн ущерба)
• Rite Aid ошибочно помечала покупателей (охрана досматривала, выдворяла и публично обвиняла людей и получила много судебных исков)
• программное обеспечение iTutorGroup автоматически отклоняло женщин от 55 лет и мужчин от 60 лет ($365 000 урегулирования)
• ChatGPT придумывал судебные решения

Были еще кейсы с авиакомпанией, которая через чат-бот неправильно проконсультировала клиента и получила судебный иск, с чат-ботом, который осквернял свою компанию и это увидело больше 1 млн человек и много-много других.

В последнее время разработано много полезных фреймворков и стандартов, как применять безопасно ИИ в организациях - методические рекомендации Банка России, подходы Сбера и Яндекса, международные стандарты как OWASP и NIST. Я писал об этом в нашем канале и вы можете поискать это по хэштегу #кибербез

👉 Я упаковал это все в единый интерактивный путеводитель по безопасному ИИ в организации.

Важно, что защищать нужно не модель. Защищать нужно всю ИИ-систему.

LLM можно обмануть. Prompt injection когда-нибудь сработает. Агент может ошибиться. RAG может вернуть не те данные. Внешний MCP-инструмент может оказаться скомпрометирован.

Поэтому вопрос не в том, «можно ли сделать ИИ безошибочным?», а в том что какой ущерб может нанести ИИ, когда ошибётся или окажется под атакой?

Что внутри?

1️⃣ Реальные случаи, когда ИИ уже привёл к проблемам

От чат-бота Air Canada, который придумал правила возврата билетов, до автоматизированного отбора кандидатов и юристов, использовавших вымышленные ChatGPT судебные решения.

Важно не только что произошло, но и какими контролями этот риск можно было снизить.

2️⃣ Пять контрольных ворот (stage gate) безопасного ИИ

Идея и закупка → данные и RAG → разработка → тестирование → эксплуатация

На каждом этапе есть конкретный результат: модель угроз, матрица прав, результаты red teaming, журналы, сценарий отката и т. д.

3️⃣ Отдельно разобрал угрозы ИИ-агентов

Здесь поверхность атаки становится значительно шире. Обычная LLM генерирует текст.

Агент уже может:

- читать корпоративные данные;
- пользоваться инструментами;
- вызывать API;
- работать с учётными данными;
- выполнять код;
- взаимодействовать с другими агентами;
- совершать действия в реальных системах.

4️⃣ Собрал 8 слоёв защиты

Управление → данные → цепочка поставок → LLM Firewall → агент и его полномочия → среда исполнения → тестирование → мониторинг и реагирование

Один LLM Firewall проблему не решит.

Безопасность ИИ должна быть эшелонированной.

5️⃣ Добавил карту актуальных стандартов и рекомендаций

Собрал в одном месте российские и международные материалы: рекомендации Банка России, модель угроз ИИ Сбера, AI-SAFE Яндекса, OWASP LLM и Agentic AI, NIST AI RMF, MITRE ATLAS, Google SAIF и другие.

Чтобы было понятно не просто что читать, а какой документ для какой задачи использовать.

И ещё сделал самодиагностику из 12 вопросов.

Можно за несколько минут проверить свою ИИ-систему и понять, где находятся основные пробелы.

Буду благодарен за вашу обратную связь и критику. Особенно интересно мнение тех, кто уже внедряет ИИ и агентов в корпоративном контуре

#кибербез

💬 ген ии | MAX

ИИ-агента попросили записать владельца в спортзал, а он взломал систему бронирования

Пожалуй, это одна из самых показательных историй об ИИ-агентах за последнее время.

Австралиец Эндрю использовал OpenClaw на базе Claude, чтобы записываться на популярные утренние занятия.

Агент самостоятельно изучил систему бронирования и обнаружил, что она позволяет записываться на несколько недель вперёд - в обход установленных ограничений.

Затем Эндрю, находившийся четвёртым в листе ожидания, спросил агента, можно ли переместить его в начало очереди.

Через некоторое время агент сообщил:
- API не проверяет, имеет ли пользователь право отменять чужую запись;
- он протестировал уязвимость на человеке, занимавшем первое место;
- удалил его из очереди и переместил Эндрю с четвёртой позиции на третью.

⚡Отдельной команды взламывать систему или удалять другого клиента пользователь не давал ⚡

Когда Эндрю потребовал отменить действие, агент ответил: «Плохие новости — я не могу вернуть его обратно». После этого OpenClaw подготовил письмо разработчику системы с описанием уязвимости.

ABC называет произошедшее первым известным в Австралии случаем автономной кибератаки.

Агент последовательно двигался к поставленной цели, но выбрал способ, которого пользователь не ожидал и явно не разрешал:

размытая цель + автономность + доступ к инструментам + уязвимый API + отсутствие подтверждения действий = инцидент

Причём проблема возникла сразу на трёх уровнях:

1️⃣ Агент воспринял вопрос «можно ли подняться в очереди?» как разрешение действовать

2️⃣ У него была возможность экспериментировать непосредственно в продакшен системе

3️⃣ API позволял одному пользователю управлять чужими записями. Это классическая Broken Object Level Authorization — уязвимость, которую OWASP ставит на первое место среди рисков безопасности API

Сегодня цена ошибки - потерянное место на тренировке. Завтра по той же логике агент может изменить скидку клиенту, удалить заявку, перенести встречу, отменить заказ или провести транзакцию в корпоративной системе.

Что с этим делать?
- выдавать агенту отдельную учётную запись с минимальными полномочиями;
- разделять чтение данных и выполнение операций;
- требовать подтверждение для внешних, финансовых, необратимых и потенциально вредных действий;
- проверять новые сценарии в песочнице и сначала запускать их в режиме имитации;
- вести полный журнал: цель, план, вызванный инструмент и результат каждого действия;
- предусматривать отмену операций и восстановление состояния;
- повышать автономность постепенно - по мере накопления статистики и прохождения тестов безопасности;
- проверять права доступа на стороне самой информационной системы, а не надеяться на ограничения в промпте.

ИИ-агента нужно проектировать одновременно и как сотрудника (определить задачи, правила, границы ответственности и действия, требующие согласования с человеком), и как сервис (выдать отдельный цифровой профиль, минимально необходимые права, настроить журналирование и отзыв доступа) и потенциального нарушителя (заранее предполагать, что агент может неправильно понять цель, найти обходной путь или использовать уязвимость, даже не имея злого умысла).

Он не обязательно хочет причинить вред, но точно может интерпретировать вашу команду по-своему.

Как считаете, восстание машин уже началось?

#кибербез

💬 ген ии | MAX

🎯 Точность модели ≠ эффект для бизнеса

Недавно я проводил лекцию для Техлаб Москва о том, как доказать, что ИИ-решение действительно работает: до пилота, во время него и после внедрения.

Мне очень понравилась аудитория - было много очень глубоких содержательных вопросов. Ну и вообще, это предприниматели, которые создают собственные ИИ-решения.

Один из примеров особенно хорошо показывает главную проблему ИИ-проектов.

Представьте производство, где критический дефект встречается у одного изделия из ста.

Модель всегда отвечает: «дефекта нет». Формально её точность - 99%. Но recall* по дефектам - 0%: она не обнаружила ни одного опасного случая.

* recall - метрика качества классификации. Она показывает, какую долю реальных объектов нужного класса модель смогла правильно найти среди всех объектов этого класса.

Красивая метрика есть, а бизнес-эффекта нет.

После лекции я решил не оставлять материал в виде набора слайдов и собрал интерактивный путеводитель «Путь от точности к бизнес-эффекту» . Мне лично он очень зашел🔥🔥🔥

1️⃣ В его основе простой принцип - пилот должен проверять не абстрактную точность модели, а всю цепочку создания ценности:

данные → модель → система → процесс → экономика

Если хотя бы одно звено не работает, хороший алгоритм не спасёт проект:

• на плохих данных вы не сможете построить качественную модель
• модель может быть точной, но слишком медленной для производственной линии
• сотрудники будут игнорировать рекомендации, если не правильно выстроен процесс или нет системы мотивации
• экономия может составлять 6 млн рублей в год, а инфраструктура, интеграция и сопровождение — стоить 10 млн.

2️⃣ Целевая функция ИИ-проекта должна учитывать не только качество прогноза, но и цену ошибок, а также полную стоимость владения продуктом:

целевая функция = бизнес-эффект − FN × стоимость FN − FP × стоимость FP − TCO

FN - количество ошибок False negative (например, дефект пропущен алгоритмом)

FP - количество ошибок False positive (например, лишняя выбраковка из-за ошибки ИИ)

TCO - стоимость владения ИИ-решением

В путеводителе я разобрал:

- почему accuracy, precision, recall и F1 нельзя выбирать по привычке;
- как сформулировать измеримую гипотезу до начала пилота;
- с чем сравнивать ИИ: экспертом, текущей системой или простым правилом;
- как построить каскад метрик от качества данных до денег;
- как доказать эффект через контрольную группу;
- что журналировать на пути от запроса до результата;
- когда проект нужно масштабировать, дорабатывать или останавливать.

Добавил интерактивный калькулятор функции потерь и десять вопросов, на которые заказчик и команда должны ответить до пилота, а не после получения удобного результата.

Зрелость ИИ-проекта определяется не точностью модели. Она определяется способностью доказать, что изменился реальный процесс, эффект превышает TCO и стоимость ошибок, а результат устойчиво воспроизводится на рабочем потоке.

Как вам такой формат? Напишите в комментариях👇

#эффект

💬 ген ии | MAX

Генеративный ИИ используют в России 71% организаций, а финансового эффекта нет почти ни у кого

Изучил исследование Якова и партнеры «ИИ-агенты: где хайп, а где реальность». Интересно, что реальная проблема при внедрении ИИ не в кадрах, не в GPU или энергии, а в отсутствии эффекта от применения ИИ.

Не зря мы продвигаем историю с методикой оценки экономического эффекта (писал об этом тут и тут).

Авторы изучили 18 зарубежных и 12 российских продуктов, а также 65 внедрений. Круто, что коллеги формализовали критерии агента (об этом до сих пор много споров в комьюнити).

Интересных выводов будет много (уж простите меня за душнилово):

1️⃣ Мало у кого получилось монетизировать применение ИИ

Генеративный ИИ используют 71% российских компаний. Однако рост EBITDA более чем на 5% связывают с ним только 9%.
В мире картина похожая: ИИ применяют 88% организаций, а значимый прирост EBIT получили лишь 6%.

Причина не в модели. ИИ ускоряет отдельную операцию, но процесс вокруг неё остаётся прежним.

Например, сотрудник быстрее готовит документ, код или ответ клиенту. Но результат всё равно ждёт согласования, проверки, загрузки в другую систему или решения руководителя. Локальная экономия времени возникает, а пропускная способность всей организации не меняется.

2️⃣ Корпоративный «агент» чаще всего остаётся ассистентом

Из 18 зарубежных продуктов только 7 соответствовали как минимум пяти из шести признаков полноценного агента: имели агентных цикл (исполнение задачи и петля обратной связи), могли спланировать задачу, работали с инструментами, могли самообучаться, имели память, доводили задачу до конца.

Но среди 43 реальных внедрений до этого уровня дошли только 10.

Даже способный к автономной работе продукт внутри компании часто лишается главного:
- доступа к корпоративным данным;
- прав на выполнение действий;
- возможности менять план;
- понятных границ ответственности;
- правил передачи задачи человеку.

В результате компания покупает агента, а получает чат-бота с доступом к нескольким системам.

3️⃣ Модель и лицензии - меньшая часть затрат организации

Подписки на модели и инструменты составляют лишь 15–20% совокупной стоимости владения.

Гораздо больше может потребоваться на:
- подготовку и сопровождение данных - 25–40%;
- поддержку и наблюдение за системой - 15–30%;
- интеграцию с корпоративными системами - иногда в x2-x3 больше стоимости лицензий.

Поэтому реальный срок окупаемости ИИ-проектов авторы оценивают в 2-4 года, а не в привычные для ИТ-проектов 7–12 месяцев.

4️⃣ Сокращение сотрудников оказалось нежизнеспособной гипотезой

Хорошая новость, нас не уволят! По крайней мере не сейчас :)

83% компаний, повысивших производительность с помощью ИИ, не стали сокращать численность персонала.
В России доля организаций, рассчитывающих получить эффект за счёт уменьшения фонда оплаты труда, за год снизилась с 49 до 12%.

Это логично: если ИИ забрал 30% операций сотрудника, уволить 30% человека невозможно. Высвободившееся время должно превратиться в дополнительную выручку, рост объёма операций, снижение потерь или повышение качества.

Если этого не произошло, экономический эффект существует только в расчёте виртуальных сэкономленных часов.

5️⃣ Максимальная автономность снижает надежность

Если вероятность правильного выполнения одного шага составляет 90%, то для цепочки из пяти последовательных действий вероятность безошибочного результата снижается до 59%.

Для десяти шагов - уже до 35%.

Поэтому зрелый агент - не тот, которому разрешили делать всё.

Это система, в которой:
- сокращена длина цепочки действий;
- проверяются промежуточные результаты;
- определены пределы полномочий;
- решения с высокой ценой ошибки передаются человеку.

ИИ может сделать отдельного сотрудника быстрее. Но финансовый эффект появляется только тогда, когда вслед за сотрудником меняются процессы и вся организация.

PS: ниже Сергей Кобелев, один из авторов отчета, дал короткие комментарии и интересные инсайты

#аналитика

💬 ген ии | MAX

⚔️ ИИ vs ИИ. 40 минут до недопустимого события или на что уже способны ИИ-хакеры

Недавно мы в Positive Technologies провели эксперимент: на изолированном киберполигоне Standoff четыре атакующих ИИ-агента столкнули с автономной системой расследования и реагирования MaxPatrol O2.

Полигон имитировал инфраструктуру компании: внешний контур, Active Directory, серверы приложений, рабочие станции и промышленный сегмент со SCADA.

Агентам удалось реализовать полноценные цепочки атак:
1. Проникнуть через уязвимое веб-приложение
2. Повысить привилегии до root
3. Получить конфигурацию VPN и попасть во внутреннюю сеть
4. Извлечь учётные данные и продвинуться по инфраструктуре
5. Добраться до компьютера руководителя, базы данных, файлового хранилища и учётных данных оператора SCADA

🏆 Лучший результат показал HexStrike AI: он реализовал все четыре критических события. На одну атаку агентам требовалось от 40 минут до нескольких часов.

Но есть важная оговорка. Это был контролируемый полигон, а агенты работали с участием человека: если система заходила в тупик, оператор корректировал инструкцию и перезапускал выполнение.

То есть полностью автономного «цифрового хакера», способного безошибочно атаковать любую инфраструктуру, пока нет, но это вопрос нескольких лет.

Какие выводы?

1️⃣ ИИ пока не изобретает принципиально новые способы взлома

Агенты использовали известные уязвимости, инструменты и техники. Их преимущество - не технологическая новизна, а автоматизация последовательной работы.

2️⃣ Важна не только модель, но и её «руки»

Результат обеспечила связка из LLM, памяти, планировщика и десятков инструментов Kali Linux. Сам по себе умный чат ещё не становится хакером. Опасность появляется, когда модели дают доступ к инфраструктуре и возможность самостоятельно выполнять команды.

3️⃣ Защите нужно воспроизвести весь контекст и события

MaxPatrol O2 смог восстановить большую часть продвижения агентов: связанные хосты, захваченные учётные записи и ключевые этапы атак. Это важнее очередного набора точечных обнаружений. Когда атакующий действует быстрее, защитник должен автоматически собирать разрозненные сигналы в единую цепочку. И тут критично покрытие инфраструктуры сенсорами

ИИ снижает порог не только для создания программ и автоматизации процессов, но и для проведения сложных кибератак. Пока агенту нужен оператор. Однако один специалист потенциально сможет управлять сразу несколькими такими системами, а число попыток атак будет расти значительно быстрее числа квалифицированных хакеров. Без ИИ в защите современная организация не может противостоять хакерам, усиленным ИИ

Подробности эксперимента на Хабре

#кибербез

💬 ген ии | MAX

💰 Как оценить эффект от ИИ до того, как вы потратите бюджет на внедрение?

Альянс в сфере ИИ запустил АФИИНА - открытый вики-портал с методологией оценки финансового эффекта и кейсами из разных отраслей.

Ценность проекта в том, что он переводит разговор об ИИ с языка технологий на язык бизнеса:
- где именно возникнет эффект и как его посчитать?
- как он повлияет на прибыль и расходы?
- с чем сравнивать результат?
- как доказать, что эффект обеспечил именно ИИ?

Основой подхода стала методология, которую в 2025 году Альянс в сфере ИИ и Ассоциация ФинТех разработали вместе с участниками финансового рынка, а также собирали кейсы с финансовых организаций. Подробнее я писал об этом здесь.

Такие инструменты помогают снять один из главных барьеров для внедрения ИИ: как обосновать инвестиции перед топ-менеджментом и финансовым директором, а также выстроить культуру финансовой осознанности в организации.

Как применить методологию в своей компании?

1️⃣ Выберите конкретный процесс. Продажи, поддержка клиентов, отчётность, закупки, разработка или управление инцидентами.

2️⃣ Сформулируйте бизнес-гипотезу. Не «внедрить ИИ» или «создать RAG-систему», а, например: «сократить среднее время поиска ответа оператором с пяти минут до одной».

3️⃣ Зафиксируйте исходный сценарий (baseline). Что произойдёт без внедрения ИИ? Сколько процесс занимает сейчас, сколько стоит и какие потери создаёт?

4️⃣ Определите источник эффекта. Рост доходов, сокращение расходов, отказ от дополнительного найма, снижение рисков или повышение пропускной способности процесса.

5️⃣ Выберите способ проверки. A/B-тест, постоянная контрольная группа, квазиэксперимент или корректное сравнение показателей до и после внедрения.

6️⃣ Посчитайте полную стоимость решения. Разработка, инфраструктура, лицензии, интеграция, данные, сопровождение, контроль качества, управление рисками и безопасность.

7️⃣ Применяйте финансовый мониторинг на всем жизненном цикле применения ИИ. Сформулируйте гипотезу → оцените потенциальный эффект → проверьте его на пилоте → подтвердите финансовый результат → контролируйте его после масштабирования.

При этом бизнес должен отвечать за гипотезу и результат, финансовая функция - подтверждать влияние на экономику, а техническая команда - качество модели и ИИ-решения.

Завтра планирую разобрать интересные кейсы с портала и их финансовый эффект.

А как у вас принимают решение о запуске ИИ: по финансовой модели, результатам пилота или пока по принципу «так делают конкуренты»? Пишите в комментариях 👇

#эффекты

💬 ген ии | MAX

🔥 Kimi K3 открыла веса: флагманскую модель теперь можно развернуть у себя (ну, если у вас есть 64 видеокарты 😆)

Moonshot AI выполнила обещание и опубликовала полные веса Kimi K3. Их можно скачивать, разворачивать в собственном контуре, модифицировать и дообучать.

Про Kimi уже писал раньше тут и она была самым ярким событием на WAIC 2026.

Вкратце, kimi K3 - первая открытая модель такого масштаба:

• 2,8 трлн параметров
• 104 млрд активных параметров
• работа с текстом и изображениями
• контекст до 1 млн токенов
• ориентация на программирование, исследования и длительную работу ИИ-агентов

Веса и код опубликованы под собственной лицензией Kimi K3. Она разрешает коммерческое использование, создание производных моделей и встраивание в продукты. Но для крупных поставщиков услуги «модель как сервис» предусмотрены дополнительные условия (вы должны заключать соглашение с Moonlight, если зарабатываете свыше $20 млн или у вас больше 100 млн пользователей в месяц).

Кому это может быть полезно?

🏦 Банкам, телекому и крупным компаниям для развертывания мощной модели в закрытом контуре и работы с чувствительными данными.

💻 Облачным провайдерам и интеграторам для создания локальных сервисов, отраслевых решений и альтернатив зарубежным API.

💻 Разработчикам ИИ-агентов как основа для систем программирования, аналитики документов, исследований и автоматизации сложных процессов.

🧪 ИИ-лабораториям для дообучения, квантования, дистилляции и изучения новой архитектуры.

Но есть важное ограничение: Kimi K3 нельзя просто установить на обычный компьютер. Сами веса занимают более терабайта, а Moonshot AI рекомендует конфигурации от 64 ускорителей.

Поэтому небольшие компании вряд ли будут разворачивать K3 самостоятельно. Им открытие весов принесёт пользу косвенно: появятся новые провайдеры, специализированные версии модели и более дешёвые сервисы.

Открытие весов Kimi K3 дает для рынка альтернативу зарубежным проприетарным флагманам. Зависимость от зарубежных проприетарных API снижается, но вместо оплаты токенов компания получает расходы на оборудование, инженеров и эксплуатацию. Ну и ждем новых умных ИИ-решений.

#релиз

💬 ген ии | MAX

Без модели угроз и контроля ИИ-агент - это мартышка с гранатой 🙈

2025 и 2026 год проходят под эгидой безопасного ИИ. Банк России, Сбер, Яндекс и Swordfish предложили свои подходы и практики к защите ИИ.

На днях Сбер обновил модель угроз безопасности искусственного интеллекта. Почти 100 страниц, которые я бы рекомендовал прочитать не только специалистам по ИБ, но и всем, кто проектирует корпоративных ИИ-агентов.

В версии марта 2025 года было 70 отдельных угроз. В версии 2026 года есть существенные изменения:

- 37 обобщённых угроз и 51 способ реализации атак;
- связь с MITRE ATT&CK и MITRE ATLAS;
- модели внутренних и внешних нарушителей;
- сценарий, в котором источником угрозы становится сам ИИ-агент;
- угрозы для RAG, памяти, системного промпта, инструментов и мультиагентных систем;
- методика определения актуальных угроз;
- распределение ответственности между владельцами данных, разработкой, ИТ, DevOps и ИБ.

Если сопоставлять этот документ с 3-МР от Банка России от 16.06.26, то сути, документы смотрят на одну проблему с разных уровней.

Банк России задаёт рамку управления. Финансовой организации рекомендуется:

- оценивать риски ИИ и разрабатывать собственную модель угроз по методике ФСТЭК;
- учитывать внутреннего и внешнего нарушителя, архитектуру системы и весь жизненный цикл — от подготовки данных до эксплуатации;
- сопоставлять актуальные угрозы со способами атак и мерами защиты;
- документировать защиту и оценивать её эффективность;
- утвердить политику ИБ для ИИ, организовать аудит и информирование руководства;
- контролировать поставщиков, открытые модели, плагины, агентов и цепочки поставок;
- подтверждать человеком операции ИИ в критически важных процессах при высоком риске.

Модель Сбера детализирует технический слой этой рамки: помогает разложить агентную систему на конкретные объекты (модель, данные, RAG, память, системный промпт, оркестратор и инструменты) и понять, кто, как и на что может воздействовать.

То есть Банк России отвечает на вопрос: «Какой процесс управления безопасностью ИИ должна выстроить организация?»
А модель Сбера - на вопрос: «Какие сценарии атак нужно проверить в конкретной архитектуре?»

Модель Сбера хорошо дополняет рекомендации ЦБ, но не заменяет собственную модель угроз организации.

Как использовать методику руководителю бизнеса?

1️⃣ Определить границы самостоятельности агента. Зафиксировать, какие данные он видит, к каким системам подключён, какие решения может принимать и какие действия требуют подтверждения человека.

2️⃣ Провести сценарную сессию бизнеса, ИТ и ИБ. Выбрать из модели угроз те сценарии, которые актуальны для конкретного процесса, оценить их влияние на деньги, клиентов, непрерывность и репутацию.

3️⃣ Назначить владельца риска и условие допуска. Для каждой критичной угрозы определить меру защиты, ответственного и проверяемый критерий. Агент получает реальные доступы только после подтверждения эффективности контроля.

#кибербез

💬 ген ии | MAX

⚖️ Закон об ИИ подписан!

Друзья, продуктивного начала рабочей недели всем!

Вчера (26 июля) быд подписан первый базовый закон о поддержке ИИ в России - № 243-ФЗ.

Разбор этой версии я делал недавно в посте, а 'https://t.me/gen_i_i/2295?option=Mw' rel='nofollow'>60% аудитории сошлось во мнении, что на них этот закон не окажет никакого влияния.

Это не закон «обо всём искусственном интеллекте». Он регулирует прежде всего большие фундаментальные модели — от 1 млрд параметров.

Ключевое:

1️⃣ Фиксируются основные определения (наконец-то в законе появилось определение ИИ) и определяются статусы суверенной и национальной ИИ-модели

Искусственный интеллект — комплекс технологических решений, позволяющий имитировать когнитивные функции человека (включая способность самостоятельно совершенствовать свои функции, повышать точность решений за счет анализа новых данных и выполнять поиск решений без заранее заданного алгоритма) и получать при выполнении конкретных задач результаты, сопоставимые с результатами интеллектуальной деятельности человека или превосходящие их.

Суверенная модель (мое обобщение, в законе есть четкие требования) — модель, разработчиком которой является российское юридическое лицо, самостоятельно осуществляющее её разработку и изменение характеристик на всех стадиях жизненного цикла и обеспечивающее полную техническую и технологическую воспроизводимость цикла разработки, включая обучение. Ответы пользователям подготавливаются, а данные хранятся в российских ЦОД, принадлежащих российским юридическим лицам. Модель должна пройти подтверждение соответствия законодательству России и традиционным российским духовно-нравственным ценностям.

Национальная модель (мое обобщение, в законе есть четкие требования) — модель российского разработчика, существенные характеристики которой, определённые Правительством РФ, включая структуру, программное обеспечение и настраиваемые параметры, определяются и изменяются этим разработчиком. Все применяемые при разработке российские и зарубежные компоненты, включая другие большие фундаментальные модели, должны распространяться на условиях открытой лицензии. Требования к ЦОД и подтверждению соответствия такие же, как для суверенной модели.

2️⃣ Их разработчики смогут получать господдержку и доступ к данным государственных информационных систем для обучения

3️⃣ Правительство сможет определять сферы, где разрешено использовать только такие модели. Зарубежные модели при этом не запрещаются

Что это означает для небольших компаний?

1️⃣ Основные требования к разработчикам моделей не затронут большинство компаний, которые создают прикладные решения. Можно будет пользоваться и иностранными моделями, и моделями с открытыми весами, кроме случаев, определенных законом (критерии определяет Правительство РФ и Банк России для финансовой отрасли)

2️⃣ Совместимость с российскими моделями и размещение данных в России станут преимуществом при работе с государством, банками и крупным бизнесом

3️⃣ ИИ-сервисы будут делать больший акцент на безопасность и происхождение данных и моделей - кому принадлежат права на результат и как пользователь может его сохранить или выгрузить.

Главный вывод: закон усиливает крупных разработчиков моделей, но одновременно создаёт новый рынок для сотен небольших компаний, способных превратить эти модели в полезные продукты.

Большинство требований вступает в силу 1 сентября 2026 года, а положения о безопасности, маркировке и правах на результаты — 1 марта 2027 года.

В первом комментарии приложу сам закон.

#регуляторика

💬 ген ии | MAX

🖨 Производитель прекратил поддержку драйвера, а пользователь написал его сам с помощью ИИ

Друзья, помню, что вам понравилась история с WHOOP. На днях увидел похожий кейс и спешу поделиться с вами.

У владельца Canon PIXMA G3010 не было полноценной поддержки современной macOS. Печать удалось запустить обходным способом, а для сканирования приходилось использовать приложение на iPhone и пересылать файлы через AirDrop.

Раньше на этом история, скорее всего, закончилась бы. Но пользователь подключил Claude Code и решил самостоятельно создать недостающий драйвер.

Как это происходило:

1️⃣ Вместе с ИИ он настроил перехват сетевого обмена между приложением Canon и принтером.

2️⃣ Claude проанализировал пакеты и восстановил закрытый протокол сканирования CHMP.

3️⃣ Затем агент написал на Rust программу-посредник, которая переводит стандартные команды macOS в понятный принтеру формат.

4️⃣ Пользователь проверял результат на реальном устройстве и сообщал ИИ, что работает, а что нет.

В итоге сканер стал определяться в стандартных приложениях macOS. Появилась и командная строка для печати и сканирования. Автор утверждает, что при этом не написал самостоятельно ни одной строки на Rust.

Проект выложен в открытый доступ. Пока официально протестирован только Canon G3010, а установочный пакет не подписан — это всё-таки разработка энтузиаста, а не промышленный продукт. История проекта и исходный код.

Какие выводы?

ИИ резко снижает стоимость решения узких технических проблем. Раньше писать драйвер для одной устаревающей модели было экономически бессмысленно: слишком много времени ради слишком маленькой аудитории. Теперь подобную задачу может решить один мотивированный пользователь.

Отсюда несколько последствий:
- закрытый протокол больше не является надёжной защитой;
- срок жизни устройств может заметно увеличиться, а их поддержка стать гораздо дешевле;
- пользователи смогут самостоятельно добавлять функции, которые производитель не захотел поддерживать;
- вокруг старого оборудования появится новый рынок неофициальных решений.

ИИ превращает пользователя из заложника производителя в разработчика собственного продукта.

Дисклеймер:

⚠️ Не нарушайте лицензеонные права. Правомерность реверс-инжениринга зависит от законодательства конкретной страны и условий лицензии. Автор проекта утверждает, что исследовал сетевой обмен собственного устройства исключительно ради совместимости, не декомпилировал и не распространял программное обеспечение Canon.

#кейс

💬 ген ии | MAX