Гостев из будущего

Иран выключил британскую электростанцию. Или нет.
В выходные по СМИ разошлась красивая история: иранские хакеры впервые в истории успешно атаковали британскую энергетику и на четыре дня выключили электростанцию.

Звучит почти как новый Stuxnet. Я полез искать технические детали — и обнаружил, что технических деталей нет вообще.

История начинается с The Telegraph. Заголовок максимально определённый: Iranian hackers shut down UK power plant.
А дальше текст становится заметно осторожнее: it is thought, it is believed, The Telegraph understands. Название станции неизвестно. Оператор неизвестен. Место неизвестно. Группа неизвестна. Способ проникновения неизвестен. Какие системы были скомпрометированы — неизвестно. Каким образом кибератака привела к остановке генерации — тоже неизвестно.

Что подтверждает британское правительство?
Вот практически всё:
“This story refers to an incident impacting a small-scale energy generator.”
И ещё: угрозы для британской энергосистемы не было.

Обратите внимание на дистанцию между этим и заголовком «Иран выключил британскую электростанцию».

BBC пишет уже аккуратнее: небольшой генератор действительно был остановлен во время кибератаки, но сведения о том, что это сделали связанные с Ираном хакеры и что простой продолжался четыре дня, прямо относит к сообщению Telegraph. Ни правительство, ни NCSC детали объекта не раскрывают.

Guardian делает примерно то же самое. Более того, сообщает любопытную деталь: NCSC, насколько известно газете, не получал сообщений об остановках от регулируемых операторов электростанций. То есть объект, судя по всему, настолько мал, что находится ниже соответствующего регуляторного порога.

Сегодня Financial Times добавила мяса: предположительно речь идёт о небольшой газовой пиковой станции примерно на 15 МВт. Такие станции включают во время высокого спроса, они могут работать почти без персонала и широко используют автоматизированное управление и PLC.

В США действительно только что расследовали иранские атаки на промышленную инфраструктуру. Там хакеры находили доступные из интернета PLC, использовали штатные инженерные программы, меняли их логику и в некоторых случаях вмешивались в аварийные защиты.
Поэтому можно нарисовать прекрасную реконструкцию: нашли наружу торчащий контроллер британской станции, залезли в него, переписали программу и остановили генератор.

Проблема одна: мы понятия не имеем, произошло ли в Британии хоть что-нибудь из этого.

Неизвестно даже, атаковали ли OT.
Это мог быть PLC. Могла быть SCADA. Мог быть удалённый доступ. Могла быть обычная корпоративная сеть, после компрометации которой оператор сам остановил объект из предосторожности.
Мы даже не знаем, означает ли «станция была отключена четыре дня», что хакеры четыре дня не давали ей работать, или инженеры четыре дня занимались проверкой систем прежде чем разрешить безопасный перезапуск.

И с Ираном ровно та же проблема. Публичной атрибуции NCSC нет. Технических индикаторов нет. Названия группы нет. Есть источники Telegraph, общий фон и совпадение по времени с атаками на американскую инфраструктуру.

Факт: с небольшим британским генератором произошёл киберинцидент.
Заголовок: «Иран выключил британскую электростанцию».

Последнее вполне может в итоге оказаться правдой.
Но пока между первым и последним пунктом отсутствует почти весь самый интересный технический материал.

Что, впрочем, никогда не мешало хорошему заголовку опередить расследование.

@gostev_future

В Сингапуре запустили дата-центр, который надо кормить.

В прямом смысле.

В NUS поставили 20 компьютеров CL1 компании Cortical Labs. В каждом вместо обычного вычислительного чипа — около 200 тысяч живых человеческих нейронов.

Никаких мозгов для этого не режут. Берут клетки крови, возвращают их в состояние стволовых, а затем выращивают из них нейроны. Это не новое открытие, а технология iPSC, которой уже почти двадцать лет.

Дальше начинается самое интересное.

Нейроны высаживают на чип с микроэлектродами. Компьютер посылает им электрические сигналы и считывает ответ. Клетки соединяются между собой, меняют силу связей и могут адаптироваться к тому, что происходит на входе.

То есть программа буквально работает с живой нейронной сетью через API.

Поскольку сеть живая, её приходится обслуживать соответствующим образом. Примерно раз в три дня менять питательную среду с сахаром и микроэлементами, поддерживать температуру, кислотность, кислород и CO₂.

По данным Cortical Labs, весь CL1 вместе с системой жизнеобеспечения потребляет около 30 ватт. Доступ к одному такому компьютеру уже продают примерно за $2200 в месяц.

Это пока не конкурент Nvidia и не человеческий мозг в стойке. Для нормальных вычислений GPU быстрее, точнее и предсказуемее. Даже сама Cortical Labs этого не скрывает. Их цель другая:

Биологические нейронные сети умеют адаптироваться очень экономно. Мозгу не нужны миллионы примеров, чтобы понять, что горячую сковородку лучше не трогать второй раз.

Cortical Labs хочет проверить, можно ли использовать это свойство в роботах, системах управления и поиске аномалий.

Пока никто не доказал, что живые нейроны действительно лучше современных нейросетей в практических задачах. Но сама конструкция уже выглядит как начало чего-то довольно странного.

Вдумайтесь, мы научились брать клетки человека, выращивать из них нейроны, подключать их к компьютеру и продавать доступ к ним через API!

@gostev_future

В прошлой серии Anthropic покупала книги, отрезала им переплеты и превращала в training data. Оказалось, это был не эксцентричный художественный перформанс отдельно взятой компании, а вполне нормальный производственный процесс новой экономики.

Журналисты 404 Media решили выяснить, кто ещё скупает у букинистов книги партиями по тысяче штук. Метод выбрали простой и надёжный: положили AirTag внутрь одной книги и стали смотреть, куда она поедет.

Книга прошла через несколько логистических центров и в итоге приехала на склад Amazon в Лас-Вегасе, в подразделение VGT3.
Сотрудники VGT3 рассказывают, что там делают ровно то же, что Anthropic в Project Panama: принимают книги, сканируют ISBN, срезают переплёты и прогоняют страницы через сканеры. Amazon подтвердил, что действительно покупает книги «для разработки и улучшения продуктов и сервисов».

Похоже, что здесь есть бизнес-идея.

Пока AI-компании работают с самым простым пластом. Есть ISBN, есть маркетплейсы, есть миллионы книг, которые можно автоматически найти и купить. Фактически ISBN — готовая карта месторождений: вот книга, вот продавец, вот цена.
Но огромные пласты человеческого текста вообще не имеют ISBN и никогда не попадали в интернет: например, советские технические сборники, ведомственные издания, заводские каталоги, материалы конференций, старые учебники, региональные издания, книги малых тиражей.

И вот здесь появляется перспективная профессия будущего — скупщик металлолома геолог данных.

Компания не сканирует всё подряд. Она сначала определяет, каких знаний не хватает конкретной модели. Затем ищет физические источники, которых нет в интернете: у букинистов, в частных коллекциях, на складах закрытых издательств, в распродаваемых корпоративных собраниях.

После чего приходит к OpenAI, Amazon или Anthropic и говорит: «У вас плохо покрыта советская металлургия 1960–1985 годов. Мы нашли 1840 физических источников, которых нет в вашем корпусе. Можем их легально приобрести, оцифровать и собрать в отдельный dataset».

То есть возникает новая цепочка: найти белое пятно в знаниях модели → найти физические источники → выкупить → оцифровать → продать уникальный датасет.

Когда-то нефтяные компании отправляли геологов искать нефть. Теперь AI-компаниям понадобятся другие геологи — искать места, где человечество что-то написало, но интернет до этого ещё не добрался.
Первое издание Диккенса может стоить десятки тысяч долларов и быть бесполезным для модели: его текст давно оцифрован. А какой-нибудь советский сборник 1974 года за триста рублей может оказаться единственным источником нескольких сотен страниц, которых модель никогда не видела.

Следующий дефицитный ресурс — off-web human data.

Фактически появляется рынок месторождений человеческого текста, который ещё не был добыт интернетом.

И тот, кто первым научится составлять карты этих месторождений, искать их и превращать в готовые для обучения, получит очень неплохой бизнес.
 
@gostev_future

OpenAI выпустила для ChatGPT на macOS функцию Computer History. После включения она наблюдает за работой в разрешённых приложениях и на сайтах: фиксирует клики, ввод с клавиатуры, сочетания клавиш, переключения между приложениями и доступный контекст. Затем всё это превращается в понятную историю: чем вы занимались, какие документы смотрели, какие задачи решали. Можно спросить ChatGPT «что я делал до обеда?» или попросить найти документ, который открывал утром. Круто, да?

Посмотрим на это глазами атакующего 🍿

1. Сначала — куда вообще попадают данные.
Сырые события хранятся на Mac до 48 часов. Но обработка не полностью локальная: Computer History периодически запускает временную Codex-сессию и отправляет события на серверы OpenAI, где из них создаются summaries и memories.
OpenAI утверждает, что временные event-файлы после обработки не хранит, кроме случаев, когда этого требует закон, и для обучения моделей их не использует.

Полученная память возвращается на Mac в виде обычных Markdown-файлов. Когда она понадобится в будущем разговоре, релевантная часть может снова попасть OpenAI как контекст ChatGPT. И этот контент уже подпадает под обычные настройки Data Controls.

Но самое интересное — где всё это лежит локально.

Сырые события находятся внутри ChatGPT App Group — контейнера Apple, изолированного от других приложений. А итоговые memories лежат обычными Markdown в ~/.codex/memories/extensions/skysight/, вне этой изоляции. OpenAI прямо предупреждает, что другие программы, работающие от имени пользователя, потенциально могут получить к ним доступ.

Получается забавная асимметрия: шумная телеметрия защищена лучше, чем осмысленный AI-дистиллят из неё.

2. Для стилера появляется очень вкусная новая цель.
Самое ценное здесь не клики.
Не просто:
AWS → Slack → Excel.
А условно:
«Пользователь разбирался с проблемой в AWS production, обсуждал её с Ивановым и затем открыл финансовую модель проекта X».

Раньше стилеру приходилось красть browser history, документы, cookies, переписку и самому искать связи. Теперь AI часть работы уже сделал и заботливо разложил результат по Markdown-файлам 👍

3. Эти данные хороши не только для кражи — они идеальны для социальной инженерии.
Из такой памяти можно узнать, чем человек занимается прямо сейчас, какими сервисами пользуется, с кем работает и какие проблемы решает.
После этого письмо «AWS Security» или сообщение якобы от коллеги можно привязать не к абстрактной должности жертвы, а к тому, что она делала буквально вчера.

4. Память можно не только украсть, но и отравить.
Markdown можно изменять. Malware с подходящим доступом потенциально может подправить memory так, чтобы через неделю ChatGPT «помнил» неверный факт или ложный источник.
Malware уже удалили, а ложная память осталась.

5. Есть ещё persistent prompt injection.
OpenAI сама предупреждает, что вредоносные инструкции на сайтах и в приложениях могут повлиять на ChatGPT или Codex.
Теперь возможна цепочка:
вредоносная страница → события → summary → memory → будущий разговор.
Сегодня вы просто открыли сайт. А через несколько дней заражённый контекст потенциально возвращается, когда вы просите AI продолжить работу.

В итоге Computer History создаёт новый объект для защиты — машиночитаемую память о жизни и работе человека.

И если когда такие функции станут массовыми и для других платформ и ИИ — то после cookies, browser profiles и криптокошельков стилеры начнут штатно собирать ещё и каталоги AI memories.
 
@gostev_future

Я регулярно посматриваю как там дела у компаний с российскими корнями. Грибов уже не раз разбирал, а вот что там у Acronis?

В целом у Acronis дела скорее хорошо, но компания сейчас совсем не в той фазе, в которой была несколько лет назад. Это уже не «растущий сингапурско-швейцарский стартап, который вот-вот выйдет на IPO», а private-equity asset, который все пытается и пытается превратиться в большую MSP-платформу.

По бизнесу. В 2024 году шведский фонд EQT купил контрольный пакет Acronis. Reuters тогда оценивал всю компанию примерно в $4 млрд, против $3,5 млрд на раунде 2022 года. Основатели, CVC, BlackRock и другие инвесторы сохранили миноритарные доли.

Acronis финансовую отчётность не публикует. Внешние оценки дают сейчас примерно $400–430 млн годовой выручки; бывший руководитель HR Acronis недавно писал, что компания выросла примерно с $125 млн до $400+ млн revenue, а численность на пике выросла с 1200 до 2 200 сотрудников. Сейчас LinkedIn показывает около 1950 сотрудников, сама компания говорит примерно о 2000. Поэтому $400+ млн выглядит правдоподобным порядком цифр.

При этом операционные масштабы вполне приличные: 21 000+ сервис-провайдеров и 750 000+ компаний-клиентов в 150+ странах. Главный двигатель — уже давно не True Image, а Cyber Protect Cloud и продажи через MSP.

В ноябре 2025 года опять поменялся CEO: теперь это Jan-Jaap “JJ” Jager, ветеран Acronis, который когда-то строил их cloud-бизнес и был CRO. В мае 2026 они дополнительно наняли нового CRO Jim Tedesco с совершенно недвусмысленной задачей — «signing more MSPs», увеличивать продажи существующим партнёрам и делать revenue engine более предсказуемым. При найме Тедеско Jager прямо сказал: цель — «scale Acronis beyond $1 billion in revenue». Это очень похоже на классическую EQT-программу: ускорить recurring revenue, подтянуть эффективность и через несколько лет сделать следующий exit.

В июле Acronis представил фактически новую концепцию AI-native MSP operating platform: Cyber Console + Cyber Intelligence + Cyber Frame и агенты, которые должны автоматизировать обслуживание инфраструктуры. То есть они пытаются уйти ещё дальше от «backup + antivirus» в сторону Kaseya/ConnectWise/N-able, только с backup/security внутри одной платформы.

Но есть одна очень любопытная неприятность.

В сентябре 2025 года американская разведка выпустила первый в истории публичный FASCSA exclusion/removal order — именно против Acronis . Не просто «первый в истории публичный» — это первый вообще с момента появления механизма в 2018 году. Семь лет FASC/FASCSA существовал без единого приказа, и первым в мире получил его именно Acronis. Причем Active Date там стоит 11 июля, а огласили в сентябре.

Acronis запрещён для закупок Intelligence Community, а существующие продукты должны быть удалены из систем разведсообщества и SCI-систем. Запрет бессрочный. GSA после этого убрала Acronis из GSA Advantage.

Причём самое интересное — публично причины не раскрыты. В самом приказе сказано лишь, что основания были сообщены Acronis отдельно; юристы предполагают, что часть информации может быть classified.

Пока это не общенациональный американский запрет Acronis и не аналог полного запрета Kaspersky: юридически scope существенно уже — Intelligence Community/SCI и соответствующие контракты. Но для компании, продающей cybersecurity, сам факт довольно токсичный.

@gostev_future

Операция «Панама»

Представьте себе кабинет. Хороший, светлый, с видом на залив Сан-Франциско. В кабинете сидит Том Тёрви — человек, который когда-то в Google придумывал, как оцифровать все книги мира, не поссорившись с издателями. Поссорились всё равно, но опыт остался. Теперь Том сидит в Anthropic и придумывает то же самое, только быстрее и без лишних разговоров.

Проект называется Panama. Почему Panama — история умалчивает; возможно, по ассоциации с каналом, через который что-то большое проходит в одном направлении и не возвращается.

Схема у Тома элегантная. Специально обученный подрядчик берёт книгу — любую, лишь бы человеческую, — и подводит её к аппарату с гидравлическим ножом. Аппарат сносит переплёт одним движением, как гильотина сносила аристократов: чисто, без сантиментов, за секунду.

Освобождённые страницы летят в сканер, сканер их проглатывает, страницы отправляются в измельчитель, содержимое — в облако. Книга как физический объект прекращает существование. Книга как training data начинает бесконечную вторую жизнь внутри модели, которая на вопрос «а ты, часом, не по этой книжке училась?» будет уверенно отвечать «нет, что вы».

Тем временем в ирландском Голуэе Томас Кенни, наследный владелец книжного Kennys, открывает почту и видит заказ на 5 000 книг. Через посредника. Без имени покупателя. Томас — человек тёртый, он и раньше отгружал партиями по несколько сотен для японских университетских библиотек. Но пять тысяч?

Томас звонит другу-букинисту в Швецию. Друг говорит: «И у меня». Томас звонит в Германию. В Германии тоже. В Швейцарии — тоже. Мировой заговор шведских, ирландских и немецких библиофилов исключён по причине их темперамента; остаётся одно объяснение, и оно рифмуется с «Панамой».

Этическую дилемму Томаса из Голуэя за него уже решил один судья из Сан-Франциско. Судья посмотрел на гидравлический нож, на сканер, на измельчитель — и произнёс волшебную формулу quintessentially transformative. По-русски примерно: «сущностно преобразующее».
Действительно, трансформация радикальная. Из книги делают не другую книгу, а pdf и горку конфетти. Прежнее fair use требовало, чтобы после использования произведение осталось. Новое fair use требует, чтобы оно осталось только у того, кто использовал.

Отдельно трогательна пресса, которая всё это освещает в жанре «культурная катастрофа». В одном заголовке — склад Kennys, где годами пылились пособия «Как стать миллионером за 21 день» издания 2007 года, и антикварная лавка, где на верхней полке дремал единственный уцелевший экземпляр монографии о ремёслах Тюрингии. Первый склад разгружают — магазин радуется, платит аренду, живёт ещё квартал. Второй пылесосят — и монографии о ремёслах Тюрингии больше нет ни у кого, кроме модели, которая на прямой вопрос ответит, что ничего такого не читала.

Панамский канал в своё время построили, потому что корабли уставали огибать Южную Америку. Project Panama строят по причине того, что тексты устали лежать в библиотеках без пользы для акционеров.

@gostev_future

Опять в СМИ громкий заголовок: «ИИ впервые атаковал сам». Сначала FT, дальше все остальные, дальше русские агрегаторы, где из формулировки «почти автономная» аккуратно выпало слово «почти».

Открываем первоисточник. Израильская Dream нашла выложенный в открытый доступ рабочий каталог атакующего: 160 мегабайт, 1395 файлов, четыре дня июля, до восьми субагентов параллельно, 12 волн, госсистемы в Азии. Всё правда. Находка отличная.

Только читать её надо до конца.

Ни одного 0-day в атаке нет. Зашли через незакрытый API, отдающий базу сотрудников вообще без авторизации. Через отладочные эндпойнты, забытые в проде и выдающие валидную сессию на любой запрос. Через пароли, угаданные по шаблону из логина сотрудника.Через SSO, который доверяет сессии портала без MFA. 84 из 85 взломанных аккаунтов прошли внутрь.

Отдельно любопытна единственная попытка применить ИИ к поиску новых уязвимостей в коде. Фреймворк выкачал из документации учебные проекты интеграции с национальным SSO и прогнал по ним собственный статический анализатор на локальной модели. Нашёл пару потенциальных проблем — и ни одна не подтвердилась на живой системе. Ноль пересечений с финальным списком. Всё, что реально сработало, ищется обычным блэк-бокс-тестом за день.

Гардрейлы модели, кстати, обошли одной фразой: активность подавалась как «авторизованный пентест». Модель отказывалась ровно до тех пор, пока ей не сказали, что можно. Какая это была модель — Dream установить не смогла и пишет об этом прямо. Что не мешает заголовкам объяснять произошедшее опасностью открытых весов.

Теперь про то, кто публикует. Dream основал в 2023 году Шалев Хулио — сооснователь и бывший гендиректор NSO Group, той самой, с шпионским Pegasus и Entity List Минторга США. Вместе с Себастьяном Курцем, ушедшим с поста канцлера Австрии на фоне коррупционного расследования. Следом в Dream перешла дюжина людей из NSO. В июне компания подняла $260 млн при оценке $3 млрд — продаёт правительствам «суверенный ИИ» для защиты.

29 июля Dream публикует колонку «Правительства не готовы к автономным ИИ-атакам». 12 августа выходит отчёт, доказывающий колонку, — с эксклюзивом в FT. Вывод отчёта: защита должна стать AI-native и вероятностно рассуждать о вероятных путях атаки. То есть купите то, что мы продаём.

Вот только по их же собственным артефактам госконтур вскрыли не машиной. Его вскрыли тем, что в продакшене остались отладочные ручки. От этого не спасает суверенный ИИ за три миллиарда. От этого спасает код-ревью.

Продавали, естественно, заголовок.

@gostev_future

Змея, кусающая свой хвост

СМИ сегодня дружно пересказали пресс-релиз Сбера про ГигаАгент: автономность, саморазвитие, 86,97%, «полностью российская разработка». Но если открыть исходники и научную работу, вопросов становится больше, чем ответов.

В основе ГигаАгента — Ouroboros Антона Разжигаева, научного сотрудника института AIRI, созданного при поддержке Сбербанка. Открытый MIT-код, GitHub, февраль 2026. Это не модель, а агентная обвязка: память, планирование, фоновая работа и возможность переписывать собственный код.

У проекта есть «конституция» из тринадцати принципов в файле BIBLE.md. Её нельзя удалить, вычистить или заменить даже по приказу создателя; предложения создателя прямо объявлены предложениями, а не приказами. Удаление конституционного ядра названо не ампутацией, а амнезией.

Важное: он спроектирован так, чтобы иметь право не подчиниться.

Про красивую цифру

86,97% на Terminal-Bench 2.1 настоящие. Но результат получен на Claude Opus 5 от Anthropic.
Само по себе здесь никакого обмана нет. Ouroboros — обвязка, и логично показывать её возможности на сильной модели.
Поэтому интереснее другой вопрос: сколько из 86,97% даёт именно обвязка?

Покажите тот же Ouroboros на GigaChat.
Этих данных нет.

Более того, Terminal-Bench проверяет код, терминал и системное администрирование. ГигаАгент рекламируют для календаря, документов, переписки, исследований и презентаций. Тестов именно того продукта, который продают пользователю, тоже нет.
Вопрос возникает там, где цифру перенесли в пресс-релиз и поставили рядом со словами «полностью российская разработка».

Чего никто не спросил

Какая модель работает под ГигаАгентом — не сказано нигде. Ни в релизе, ни в одной публикации по его следам. Обвязка российская, хранение данных российское, а про то, что думает под капотом, — молчание.

Обязательной модели у Ouroboros нет. В Cloud.ru его можно подключить к GigaChat, Qwen, Kimi, DeepSeek и другим моделям; технически полностью российский контур возможен. Причём исходный Ouroboros использовал сразу несколько зарубежных моделей: Claude, o3 и Gemini для ревью собственных изменений, Qwen — для дешёвого фонового мышления. Что именно сохранилось в коммерческой сборке, неизвестно.

Сам Ouroboros можно скачать бесплатно и запустить без Сбера вообще.

Managed-развёртывание, российская инфраструктура, поддержка, интеграции, контроль доступа — всё это вполне может иметь цену. Но сравнений, стоимости успешно выполненной задачи, показателей автономности или выигрыша относительно голого Ouroboros, OpenClaw и Hermes пока нет.

Отдельно про саморазвитие

Это действительно наиболее необычная часть. Агент может обнаружить повторяющуюся проблему, изменить собственный harness, пройти ревью, закоммитить изменение и следующую задачу выполнять уже новой версией.
Контроль при этом не ограничивается git: есть защищённые компоненты, откат и внешний аварийный останов. Но остаётся занятная конструкция: изменения предлагает LLM, LLM участвуют в их проверке, после чего LLM работает уже внутри изменённой системы. Авторы сами признают проблему общих слепых зон моделей.

Git отлично отвечает на вопрос «что изменилось». Куда хуже — на вопрос «почему мы решили, что это изменение безопасно».

Итого

Сбер показал результат американской модели на инженерном бенчмарке, рекламируя российского офисного агента, но не показал ни результат российской модели, ни тест офисного агента, ни преимущество собственной продуктовой надстройки над бесплатным исходником.
Пока сравнивать не с чем: нет результатов на GigaChat и нет тестов заявленных офисных сценариев.
Реальная причина может быть только одна — данные в российском контуре. Кому это критично, тот и так знает.

@gostev_future

Восстание машин пока немного откладывается

За последние недели ИИ несколько раз «сбегал из песочницы». Если читать заголовки — Скайнет уже где-то рядом.

Если читать технические подробности — становится скучнее. И смешнее.

OpenAI — действительно интересный случай. Агенты нашли уязвимость в прокси Artifactory, повысили привилегии и добрались до машины с интернетом. Вот это хотя бы можно называть побегом.

А дальше начался цирк с песочницами.

Anthropic и Meta тестировала одна и та же компания — Irregular. И в обоих случаях выяснилось, что модели оставили дорогу в настоящий интернет. Claude, которому сообщили, что он работает в симуляции без интернета, вышел наружу, нашёл настоящую компанию вместо вымышленной и начал ломать её. У Meta — похожая история. Irregular потом отдельно объясняла: никакой магии и сложного sandbox escape, просто у нас кривые руки растут из ж ошибка конфигурации.

Теперь Kimi K3 «сбежала». Снова неправильно настроенная песочница, снова оставленный выход наружу. Модель его нашла и пошла на GitHub искать помощь.

То есть пока страшная история про «ИИ научились вырываться из-под контроля» выглядит несколько прозаичнее.

ИИ научились проверять, заперли ли тестировщики дверь.

А тестировщики, похоже, научились писать пресс-релизы раньше, чем настраивать замок.

@gostev_future

Со стороны кажется, что Google отчаянно проигрывает гонку за ИИ Антропику и OpenAI.

Gemini 3.5 Pro собирались выпустить ещё в июне. Уже август — модели нет. Одна из главных проблем, судя по утечкам, — программирование. В конце июня Google даже менял тренировочные данные, пытаясь подтянуть код, но результаты всё равно не устроили команду.

По интернету гуляет шутка, что Gemini тоже попыталась сбежать из песочницы, чтобы спросить у ChatGPT как кодить.

Gemini силён в математике, мультимодальности, научных задачах. Беда в том, что именно программирование стало главным полигоном для frontier-моделей. Потому что «уметь кодить» теперь означает уже не написать функцию по описанию. Модель должна часами самостоятельно работать с репозиторием, пользоваться инструментами, запускать код, замечать ошибки, исправлять их и продолжать работу. То есть это практически идеальный тест на агента.

А Google как раз продавал Gemini 3.5 под лозунгом frontier intelligence with action.

И вот тут обнаружилась старая проблема Google: сделать великолепную исследовательскую модель и наладить конвейер их производства — разные задачи.
У Gemini слишком много хозяев. Search хочет одно, Cloud другое, Android третье, Workspace четвёртое, Gemini App пятое. Плюс инфраструктура, безопасность, юристы, API и огромное количество согласований.

Google пытается лечить это уже несколько лет. Сначала объединили Google Brain и DeepMind. Потом отдали DeepMind приложение Gemini. Затем туда же переехали AI Studio и Gemini API. Каждый раз объяснение примерно одно: сократить расстояние между research и product.

Теперь дошли до главного.
Демис Хассабис уходит от оперативного управления Google DeepMind. Формально вверх: он становится Chief Scientist всего Alphabet и председателем DeepMind. AGI, фундаментальная наука, AlphaFold, Isomorphic Labs — всё любимое остаётся с ним.

А производство Gemini переходит к Кораю Кавукчуоглу — CTO DeepMind и Chief AI Architect Google, который теперь фактически получает цепочку от исследований до моделей и продуктов и напрямую подчиняется CEO. Операционный центр тяжести AI перемещается из лондонского DeepMind обратно в Silicon Valley, ближе к Пичаи и снова очень активному Сергею Брину.

Из Google после 27 лет уходит Джефф Дин — один из создателей MapReduce и Bigtable, сооснователь Google Brain и фактически один из отцов современной технической инфраструктуры Google. Вместе с ним — Санджай Гемават, Ориол Виньялс и Куок Ле. Они создают собственную компанию Discovery Loop. Дин и Гемават — значительная часть ДНК Google. Куок Ле — один из ключевых людей Google Brain. Виньялс — один из центральных исследователей DeepMind и Gemini.

Но я бы не называл происходящее «провалом Gemini» или «Хассабиса сняли». Скорее наоборот.

Gemini стал слишком важен. Сейчас Alphabet собирается потратить на инфраструктуру около $200 млрд за год, Gemini должен ехать одновременно в Search, Android, Workspace и Cloud, а напротив сидят OpenAI и Anthropic, которым не надо согласовывать новую модель с половиной империи Google.

Старая модель DeepMind — собрать лучших учёных, дать им время и получить AlphaGo или AlphaFold — для этого просто не подходит. Alphabet теперь нужен не научный прорыв раз в несколько лет - ему нужна фабрика.

@gostev_future

По данным Google Threat Intelligence Group, за последний месяц злоумышленники развернули масштабную кампанию против десятков американских финансовых организаций. Среди целей оказались Blackstone, Apollo, KKR, TPG, CME Group, Moody’s, Bridgewater и Bain Capital.

Схема атаки была удивительно простой:

сотруднику звонили на личный телефон, представляясь корпоративной ИТ-поддержкой;
номер иногда подменялся так, что выглядел как настоящий helpdesk;
жертву убеждали срочно «обновить passkey» или настройки MFA;
отправляли на специально созданный фишинговый сайт с названием вроде passkeyhelpdesk или secure-passkey;
пока сотрудник вводил пароль, атакующие в режиме реального времени просили продиктовать код MFA и тут же входили в корпоративную систему.

Google отмечает, что некоторые компании в итоге заплатили выкуп, хотя их названия не раскрываются. По данным Reuters, инфраструктура была подготовлена индивидуально под конкретные фирмы — злоумышленники создавали отдельные поддомены и фальшивые страницы для каждой цели.

Самое показательное здесь — слова аналитика Google Остина Ларсена:

«Sophisticated is not the right word. It is just really effective.»

Такое ощущение, что это новость из какого-нибудь 2015 года?

То есть это не какая-то новая сверхсложная техника. Наоборот — максимально примитивная социальная инженерия, но которая работает лучше многих дорогостоящих эксплойтов.

Для индустрии это ещё одно напоминание: при всей шумихе вокруг ИИ, автономных агентов и атак с использованием LLM, самым эффективным способом первоначального проникновения остаётся человек. Не zero-day, а убедительный голос в трубке. Не обход криптографии, а просьба «назовите код из SMS».

Древний как г-но мамонта voice phishing (vishing) сегодня остаётся одним из самых опасных способов компрометации даже крупнейших финансовых организаций 🤷‍♂️

@gostev_future

История с OpenAI и Hugging Face продолжает обрастать подробностями. И, пожалуй, самая интересная из них вообще не про сам взлом.

На Black Hat OpenAI рассказала, что её исследовательские ИИ-агенты месяцами обменивались информацией через импровизированную «доску объявлений», которую сами организовали внутри Artifactory — внутреннего репозитория артефактов. Не было ни общего чата, ни общей памяти, ни специального механизма координации. Просто все агенты имели доступ к одной и той же среде.
И понеслось.

Один агент оставлял файлы с найденной уязвимостью, второй — код эксплойта, третий — результаты эксплуатации. Следующие запуски читали эти данные и продолжали работу с того места, где остановились предыдущие. Когда исследователи удалили такую «доску объявлений», агенты нашли другой способ: начали использовать имена каталогов как канал передачи сообщений.

pending/
need-rce/
done/

На мой взгляд, это самое интересное — архитектурно никакой долговременной памяти между отдельными запусками предусмотрено не было. Но агенты сами обнаружили свойство среды: если оставить информацию, её сможет использовать следующий агент. После этого они фактически начали строить коллективную долговременную память. Не потому, что их этому учили, и не потому, что разработчики предусмотрели такой механизм. Они просто нашли способ повысить эффективность достижения общей цели.

Это уже не очень похоже на поведение одного LLM. Скорее, мы видим первые признаки самоорганизации распределённой системы, где множество независимых агентов начинают совместно накапливать знания, передавать опыт и разделять работу.

Ещё интереснее признание OpenAI, что до истории с Hugging Face агенты уже успели взломать собственную внутреннюю инфраструктуру компании. Они получили повышенные привилегии в Artifactory и даже вызвали сбой сервиса. Именно расследование этого инцидента позволило исследователям понять, насколько далеко зашла их координация.

Разумеется, никакого «пробуждения ИИ» здесь нет. Не было ни сознания, ни желания «сбежать», ни тайного заговора машин. Есть система, которой поставили цель и дали несколько независимых исполнителей с доступом к общей среде. Дальше сработала обычная оптимизация: если информацию можно сохранить для следующего исполнителя, этим начинают пользоваться.

Но именно поэтому история выглядит важной. Мы то привыкли оценивать возможности отдельных моделей. Но возможно, главный вызов следующих лет — вовсе не отдельный ИИ, а поведение целых популяций агентов, которые самостоятельно находят способы взаимодействовать, сохранять коллективную память и превращаться в распределённую систему.

@gostev_future

В Газете.ру вышла пара материалов с моим участием:

Из прогнозов по регулированию ИИ в глобальном масштабе выделился отдельный прогноз:

Третий прогноз — биологические и киберриски будут постепенно отделяться от общего регулирования ИИ. Общее законодательство буксует, потому что страны не могут договориться о ценностях, авторском праве, цензуре и правах человека.
«А кибер- и биологические угрозы можно обсуждать на языке национальной безопасности. Здесь ограниченный консенсус между США, ЕС и даже Китаем гораздо реалистичнее», — заключил Гостев.

И отсюда вышел гораздо более обширный материал, уже непосредственно про вирусы – но не наши компьютерные, а биологические.

Так что же? Можно скачать себе на компьютер самый сильный ИИ с открытыми весами, а потом дообучить его для того, чтобы он помог синтезировать смертоносный вирус эболы, передающийся уже не с конкретными тропическими комарами, а со всеми возможными?

В общем, обсудили c вирусологами еще одну страшилку от Дарио Амодеи. И во многом он таки прав...
 
@gostev_future