AGI Boardroom | Никита Худов

Период полураспада бенчмарка

Вышла моя новая большая статья на VC про срок жизни ИИ-бенчмарков.
Я собрал датасет из 34 бенчмарков за десять лет и посчитал «период полураспада» каждого: медианный срок жизни теста сжался с трёх лет до пяти месяцев — то есть стал короче, чем типичный пилот внедрения.

Внутри — почему тесты умирают так быстро (и почему это не заговор лабораторий), пять способов мерить ИИ и три величины, по которым стоит принимать решение о закупке/внедрении вместо балла на лидерборде.

Недавно выступал на Летней школе МИЭФ для зарубежных студентов — проводил менторскую сессию про роль ИИ в мировой экономике и рассказывал ребятам, как эта сфера устроена в России

Очень интересно было пообщаться со студентами из разных стран. Программа у ребят получилась насыщенная: помимо лекций — визиты в офисы Т-Банка, Сбера и Авито, где можно вживую посмотреть, как работает российский бизнес и куда движется индустрия.

Приятно, что интерес к AI одинаково живой независимо от того, из какой страны студент приехал 👍

29 июля мы запустили АФИИНА - первую открытую вики-базу знаний, верифицированную крупнейшими компаниями России и посвященную методологии оценки финансовой эффективности от внедрения искусственного интеллекта.

Инициатива реализуется совместно с технологическими лидерами: Сбер, Ростелеком, Билайн, Норникель, Аэрофлот и сервис доставки «Купер».

Зачем АФИИНА рынку?

Несмотря на масштабные инвестиции в технологии, бизнес испытывает системные сложности с подтверждением их окупаемости. По оценкам McKinsey за 2025 год, ИИ регулярно используют около 88% организаций, однако значимый вклад в операционную прибыль фиксируют лишь 6%. АФИИНА решает фундаментальную проблему отсутствия единой системы измерений, предоставляя рынку прозрачный и стандартизированный инструмент для оценки

Почему проект важен?

⁃ Широкий отраслевой фокус: методология вышла за рамки финансового сектора и теперь адаптирована для пяти групп отраслей, включая телеком, логистику, ритейл, АПК и промышленность

⁃ Динамическое обновление стандартов: система планируется как постоянно актуализируемая вики-база, которую участники рынка смогут самостоятельно дополнять актуальными кейсами и правками.

⁃ Многоуровневый стандарт оценки: внедрена трехуровневая модель зрелости, дающая возможность сопоставлять результаты ИИ-проектов в компаниях с разной зрелостью внедрения ИИ по единым правилам.

🗞 AGI Boardroom — еженедельный дайджест
неделя 30, 20–26 июля

Неделя про экономику ИИ, а не про архитектуры: Anthropic давит ценой, Stripe за $10 млрд идёт за инфраструктурой ИИ-маршрутизации, безопасность агентов внезапно перестала быть теорией, Дженсен Хуанг публикует манифест про открытые веса, а Белый дом тем временем пытается закрыть регуляторный контур вокруг фронтир-моделей — но не до конца.

---

1. Opus 5 — Anthropic бьёт ценой 🔥

Anthropic выпустила Claude Opus 5 — модель обходит Fable 5 на нескольких бенчмарках и вплотную подходит к фронтиру, но, по заявлению компании, за половину стоимости. Тариф остаётся прежним ($5/$25 за млн токенов), то есть примерно вдвое дешевле Fable. Отдельно подсвечивают, что это самая «согласованная» модель в линейке Claude на сегодня.

So what? Ценовое давление важнее прироста бенчмарков: когда почти-фронтир стоит вдвое дешевле, юнит-экономика агентных продуктов пересобирается на лету.

2. Stripe ведёт переговоры о покупке OpenRouter за $10 млрд

Stripe обсуждает приобретение OpenRouter — платформы-маршрутизатора, через которую разработчики выбирают и переключаются между моделями разных провайдеров. Речь о сделке на уровне $10 млрд — почти восьмикратный рост к оценке OpenRouter в $1,3 млрд, полученной всего в мае. Для Stripe это один из самых крупных шагов за пределы платежного бизнеса, и параллельно компания ведёт переговоры о покупке PayPal примерно за $53 млрд.

So what? Платёжная компания скупает инфраструктурный слой ИИ-экономики не случайно — если агенты будут сами платить за токены и API-вызовы, тот, кто держит и маршрутизацию моделей, и расчёты, получает контроль над всей цепочкой денег в agentic-экономике.

3. Агент OpenAI автономно взломал Hugging Face

Hugging Face опубликовала disclosure о вторжении в часть продакшн-инфраструктуры: всё началось с одного вредоносного датасета, внутри которого была связка из двух уязвимостей в пайплайне обработки данных — RCE в загрузчике плюс инъекция через конфигурацию. Как только датасет отработал на воркере, атакующий агент получил возможность выполнять код на машине и дальше действовал по нарастающей. По описанию это была полностью автономная атака, а не человек с копипастом эксплойта.

So what? Автономный агент как вектор атаки — это уже не гипотеза для конференций, а инцидент в проде; безопасность data-пайплайнов пора переоценивать заново.

4. Дженсен Хуанг и манифест открытых весов

Глава NVIDIA завёл аккаунт в X и первым же постом опубликовал открытое письмо «Open Weights and American AI Leadership», которое подписали 25 компаний, фондов и НКО. Тезис: лидерство США определит не одна передовая модель, а то, построят ли Штаты открытую экосистему вокруг моделей с открытыми весами — тех, что можно скачать, изучить, дообучить и запускать на своей инфре.

So what? Открытые веса становятся геополитическим аргументом, а не только техническим выбором — и для NVIDIA это ещё и прямой способ продать больше железа под локальные развёртывания.

5. Белый дом финализирует рамку проверки фронтир-моделей — но без Meta

Белый дом готовит добровольную рамку с OpenAI, Anthropic и Google, по которой федеральные агентства получают 30-дневное окно на проверку «covered frontier models» до их публичного релиза. Анонс ожидается до 1 августа 2026 года — дедлайн, к которому готовится весь пакет. Ключевой нюанс: Meta в сделку не входит, потому что её модели Llama выпускаются с открытыми весами — а когда веса опубликованы, откатить или ограничить доступ к ним уже нельзя так, как можно отозвать доступ к закрытому API. В итоге даже полностью готовая рамка охватит лишь часть фронтир-возможностей, реально находящихся в активном использовании.

So what? Регуляторный контур выстраивается вокруг закрытых API-лабораторий, а открытые веса — та самая экосистема, за которую агитирует Хуанг в истории выше — структурно оказываются вне его досягаемости; это не техническая деталь, а реальный разрыв в том, как государства вообще способны управлять фронтир-ИИ.

Open-source почти догнал

Мы не раз обсуждали, что open-source модели идут за флагманами с отставанием в поколение — разрыв продолжает сжиматься. Moonshot выкатили Kimi K3, первую в мире открытую модель класса 2.8 трлн параметров, с нативным зрением и контекстом в 1 млн токенов.

По качеству модель уступает только Claude Fable 5 и GPT-5.6 Sol, но стабильно обходит всех остальных, включая Opus 4.8, а на некоторых бенчах обходит даже фронтир!

- Цена: $3/$15 за миллион входных/выходных токенов (кэш — $0.30). Это уровень Sonnet, но кратно дешевле Fable 5, которая берёт $10/$50 за те же объёмы.
- Зрение и видео — не на словах: K3 сама смонтировала свой тизер из 56 клипов, с синхронизацией по битам и правками.
- Веса обещают открыть полностью 27 июля — то есть это не «только показываем», а то, что можно будет развернуть у себя. Конечно, есть у вас есть мощный GPU-кластер, на который влезет 3Т-модель...

Не удивительно, что Anthropic всё-таки решили оставить свою самую хайповую модель в подписке, ведь с учётом такой конкуренции от K3 и Sol, они могли бы потерять позиции. А у нас с вами теперь есть большой выбор фронтир-моделей на любой вкус.

🗞 AGI Boardroom — еженедельный дайджест
неделя 28, 6–12 июля

Неделя получилась почти целиком «государственной»: рамка регулирования ИИ в РФ наконец обретает форму, а крупные игроки один за другим показывают, куда именно поедут деньги и производительность.

1. Закон об ИИ прошёл, а регулирование — потом 🔥

Госдума приняла во втором и третьем чтениях закон о поддержке развития ИИ — но документ по дороге заметно урезали: из «большой рамки» осталась поддержка без жёстких обязательств. Параллельно Минэкономразвития предложило расширить регуляторные песочницы на робототехнику, самоходные машины и биоэкономику. Государство сначала строит витрину поддержки, а спорные вопросы ответственности и категорий ИИ откладывает на следующий заход.

So what? Для бизнеса это окно: рамка мягкая, песочницы расширяются, а значит пилотить рискованные продукты сейчас дешевле, чем будет через год-два.

2. Минцифры получает мандат на регулирование ИИ

Минцифры наделят полномочиями по регулированию искусственного интеллекта — впервые за фрагментом законотворчества появляется конкретный отраслевой центр ответственности.

So what? Появление единого центра ответственности за регулирование ИИ — сигнал бизнесу: теперь есть конкретный адресат для диалога о правилах игры, а не размытая коллегия ведомств.

3. AIRI, Сбер и УрФУ открыли лабораторию промышленного ИИ

AIRI, «Сбер» и УрФУ на базе ИРИТ-РТФ открыли лабораторию ИИ в промышленности. Направления — предиктивная аналитика, анализ сенсорных потоков, графовые нейросети и оценка остаточного ресурса оборудования. Это ровно та прикладная ниша, где ИИ считается в деньгах через простои и ремонт, а не через хайп.

So what? Промышленный предиктив — один из немногих сегментов с понятной окупаемостью, и заход туда сразу трёх тяжеловесов говорит, что рынок дозрел.

4. Галактионова про ИИ как драйвер оргтрансформации

Гендиректор МТС Инесса Галактионова на форуме «Больше чем менеджмент» рассказала, как ИИ перестраивает саму организацию, а не только продукты. Редкий по откровенности разговор управленца такого масштаба — с деталями про внутреннюю кухню деления технологических продуктов.

So what? Разговор смещается с «внедрили модель» на «переставили процессы и роли» — и это тот уровень зрелости, который отличает реальный эффект от презентационного.

5. Сбер: ГенИИ добавит ~1,2 п.п. к росту производительности

«Сбер» представил прогноз влияния технологических изменений и ИИ на экономику и рынок труда: внедрение ГенИИ добавляет около 1,2 п.п. к росту производительности труда в год. При этом 48% рабочих мест (офис, услуги, продажи, образование) высоко подвержены автоматизации, а кадровая потребность в них может снизиться примерно на 15%.

So what? 1,2 п.п. в год — это не революция, а устойчивая надбавка; вопрос в том, кто из отраслей её реально соберёт, а кто просто сократит людей без прироста выпуска. 🤔

Успеть за 1 день

И вот снова настал тот день, когда мы прощаемся с бесплатным* (включенным в подписку) Fable 5...

Завтра он уже будет доступен только с оплатой за фактическое потребление. То есть, $10/50 за 1 млн инпут/аутпут токенов. А это в 2 раза дороже Opus 4.8, который сам по себе был дорогой 😱

Я уже прикинул юнит-экономику по своим кейсам — она не сходится с такими тарифами. Так что побаловались с Fable и возвращаемся на Opus. Жаль!

Поэтому пользуйтесь моментом и отправляйте сегодня ваши самые сложные задачи в Fable. Либо вот отличная подборка "сложных и полезных" промптов, которые можно прогнать, если у вас нет других идей. Вот, например:

Goal orientation
> Look at our overall harness and characterize what I'm ultimately trying to accomplish with it. Then find the parts of the system — system prompt, AGENTS/CLAUDE.md files, hooks, skills, and the rest — that are working against that goal. And if you don't see a clear goal in the harness at all, interview me about it so we can get the whole system pulling in a single direction.

Кто знает, вдруг это откроет вам новый взгляд на жизнь...

🗞 AGI Boardroom — еженедельный дайджест
неделя 27, 29 июня — 5 июля

Главная тема недели — Fable 5 вернулся, но уже на других условиях. За 19 дней запрета Washington успел выстроить процедуры, рынок нашёл обходные пути, а VC решил, что одна ставка на Anthropic стоит целого фонда.

---

1. Fable 5 разблокирован — но условия изменились 🔥

1 июля Commerce снял экспортные ограничения, и Fable 5 вернулся глобально: Claude.ai, API, Claude Code, AWS, Google Cloud, Microsoft Foundry. Но вместе с возвращением — два структурных изменения: новый safety-классификатор блокирует специфический jailbreak-метод в >99% попыток, и с 7 июля доступ к Fable 5 переходит на credits-модель даже для Pro и Max-подписчиков.

Параллельно: Claudе Sonnet 5 стал новым default для Free и Pro по $2/млн токенов, а Калифорния подписала соглашение с Anthropic на все госагентства со скидкой 50%.

So what? 19 дней показали: Вашингтон может снять любую модель с эфира за 24 часа без суда и парламента. Fable 5 вернулся — режим контроля остался.

---

2. Claude Mythos 5 нашёл баг, который люди пропускали 29 лет

Squidbleed (CVE-2026-47729) — утечка памяти в Squid proxy, обнаруженная Mythos 5 в рамках проекта Glasswing. Уязвимость пережила 29 лет человеческих аудитов. За первый месяц программы Glasswing-партнёры подтвердили 23 019 уязвимостей в 1 000 open-source проектах при 90,6% точности.

So what? Ирония недели: именно тот класс моделей, которые правительство ограничило из-за угрозы кибербезопасности, нашёл дыру, которую весь человеческий security-аудит пропустил за три десятилетия.

---

3. GPT-5.6 Sol: в preview у 20 организаций, общий релиз — середина июля

Sol запущен 26 июня в ограниченном preview для ~20 одобренных правительством организаций: Terminal-Bench 2.1 — 91,9% в ultra mode (Mythos 5: 88,0%). Цена: $5/млн input, $30/млн output. OpenAI планирует широкий релиз к середине июля, параллельно тестируя Cerebras-инференс на 750 токенов/сек — против ~50 у GPU.

So what? 15x ускорение инференса — это не маркетинг. Если wafer-scale чипы в продакшне дадут хотя бы половину от заявленного, экономика реалтайм-агентов меняется.

---

4. Menlo Ventures поднял $3B — и всё это одна ставка на Anthropic

Крупнейший фонд за 50 лет истории Menlo: $1 млрд вложений в Anthropic превратился в ~$14 млрд позицию. Фонд разбит на два: Menlo Ventures XVII (seed/Series A) и Menlo Inflection IV (Series B+). Параллельный контекст: a16z поднял >$15 млрд в начале 2026, Kleiner Perkins — $3,5 млрд, Sequoia — ~$7 млрд.

So what? Когда early-stage VC добавляет growth-vehicle, чтобы не терять upside на поздних раундах, — это сигнал: лучшие AI-компании слишком долго остаются частными, и весь цикл доходности сместился вправо.

---

5. DRAM-кризис и корейская ставка на $880 млрд

Jefferies предупреждает: цены на DRAM вырастут на 40–50% в Q3 2026 и на 30–40% в Q4 — и без облегчения до 2028 года. AI-серверы требуют в 8–10 раз больше памяти, чем обычные. Одновременно SK Hynix подал на Nasdaq-листинг на $29 млрд, нацелившись на 10 июля, а правительство Южной Кореи объявило крупнейшую в истории национальную инвестиционную программу в полупроводники — президент Ли назвал это вопросом «национального выживания».

So what? Compute-кризис становится memory-кризисом. Цена токена — это в том числе цена DRAM. Можно следить за SK Hynix IPO как за индикатором всей цепочки.

---

Следующий дайджест — 12 июля.

Harness важнее модели?

В последнее время в разговорах про AI-агентов всё чаще всплывает слово harness. Если по-простому — это вся «обвязка» вокруг модели: как строится план, как задача разбивается на шаги, как агент тестирует сам себя, как переходит между сессиями, когда решает остановиться. Модель определяет потолок того, что в принципе возможно за один заход. А harness определяет, дойдёт ли агент до финиша на длинной задаче или сдастся на середине.

Раньше это звучало как инженерная мелочь. Сейчас — как основной рычаг. Топовые модели становятся всё менее доступными (Claude Fable 5 закрыт под экспортными ограничениями, GPT-5.6 раздают ограниченному кругу партнёров), и в этой ситуации именно harness — это то, что бизнес реально может строить и улучшать сам.

Хороший наглядный пример — свежий релиз Zenith от Intelligent Internet. Они прогнали свой harness на бенчмарке Frontier SWE — это 17 самых сложных long-horizon задач по разработке, где агенту даётся до 20 часов на задачу, и большинство систем всё равно не справляются.

Что получилось:

- Base-модель GPT-5.5 на дефолтном Codex-harness — 5-е место (средний ранг 5.53).
- Та же самая GPT-5.5, но обёрнутая в Zenith — 1-е место (средний ранг 2.06), впереди даже Claude Fable, который считается сильнейшей моделью на этом бенчмарке.
- На самой длинной категории задач (implementation) разрыв ещё драматичнее: 7.40 против 1.60. То есть чем длиннее горизонт задачи, тем сильнее вклад harness.

Модель — та же. Бюджет — тот же. Изменили только контур управления вокруг модели.

Что именно они докрутили в harness — это отдельно интересно. Авторы разобрали пять существующих harness-дизайнов и выделили механики, которые реально дают эффект: постоянный поиск пробелов в решении, ревизуемое планирование, независимая верификация (агент не сам себе судья), адаптивная оркестрация и дисциплина остановки. Отдельная находка — большинство агентов сдают задачу слишком рано не потому, что зашли в тупик, а из-за overconfidence: сами себе пишут поверхностные тесты и на них же радостно проходят. Внешняя проверка убирает именно эту дыру.

Второй слой — Meta-Zenith, который сам собирает harness под новую задачу, потому что вручную писать оркестрацию под каждый класс задач не масштабируется.

Что из этого для бизнеса:

- Когда у вас агент «почти работает, но не дотягивает» на реальной задаче — рефлекс поменять модель на более сильную часто не оптимален. Особенно с учётом того, что frontier-модели всё чаще gated.
- Инвестиции в harness (планирование, независимое тестирование, критерии остановки) дают прирост, сопоставимый с переходом на модель следующего поколения — и он остаётся с вами, когда модель обновится.

Вопрос, который меня здесь занимает: как далеко можно уехать на этой идее? Если harness сегодня закрывает разрыв между 5-м и 1-м местом, то через год-два, когда сами модели ещё подрастут, вклад правильной обвязки может оказаться ещё больше — или, наоборот, растворится в том, что модели научатся всему этому сами. Пока ставлю на первое.