AGI Boardroom | Никита Худов

Собираем бенчмарк своими руками (или руками агентов)

Я недавно рассказывал про свой винный бенчмарк OenoBench, который на собственном датасете из 3000+ вопросов оценивает знания разных LLM в винной сфере.

Сегодня выпустил большую статью на Хабр, где рассказал подробности про этот проект, процесс работы с агентами и большое количество проблем, с которыми я сталкивался. Может быть полезно тем, кто хочет собрать свой бенчмарк или просто попрактиковаться в дрессировке агентов. Приятного чтения!

Собрал свой AI бенмчарк из 3000+ вопросов по вину и сравнил разные LLM по уровню винных знаний

Еще немного контента про мой проект Vinum ex Machina, который изучает потенциал AI в винной сфере. Сегодня расскажу про OenoBench — винный AI бенчмарк, с которого в целом этот проект и начался. Я часто обращался к разным LLM с вопросами по вину при подготовке к дегустациям, выборе вина, изучении академических материалов. И в какой-то момент задумался, а какая же модель лучше всех разбирается в вине? Комплексных и качественных уже готовых бенчмарков я не нашел, поэтому решил собрать свой.

Что было сделано:
- Сбор достоверных фактов. Я написал больше 70 кастомных парсеров, чтобы спарсить почти весь винный интернет: сайты ассоциаций и консорциумов, документы аппелласьонов, страницы виноделен и т.д. Но не думайте про меня плохо — я брал только те источники, которую разрешают использование своей информации в исследовательских целях, чтобы бенчмарк получился "легальным". На базе всех этих источников я собрал 50к+ атомарных фактов, которые мы уверенно можем считать истиной, по 6 винным сферам: виноградарство, виноделие, винный бизнес, винные регионы, сорта винограда, производители вина.
- Формирование датасета вопросов. Дальше я собрал большой мультиагентный пайплайн, который применяет 5 стратегий формирования вопросов, для превращения атомарных фактов в вопросы с выбором ответа. Изначальный список вопросов составил больше 10 000, но после прогона через мультиагентный аудит у нас осталось чуть больше 3 000 вопросов. Подробнее этот технический процесс описан в препринте.
- Оценка моделей. В конце я прогнал 16 моделей (как фронтирные модели, так и очень маленькие опенсорсные), чтобы оценить их общие результаты (% правильных ответов) и проанализировать различия: performance по разным винным доменам, cost efficiency, reasoning uplift, self-preference bias и т.д. Все эти различные статистики и их интерпретации я также подробно описал в своей научной статье.

Несколько интересных выводов:
- Высокие результаты моделей. Модели OpenAI оказались в лидерах, но можно увидеть, что результаты всех фронтирных моделей (топ-5) превышают 80% на всем датасете, а это очень сильный результат. Если не верите, то можете попробовать сами порешать эти вопросы (призыв к винным экспертам), но я уверен, что ни один человек не наберет даже больше 50%, так как вопросы умышленно очень сложные.
- Небольшое отставание open-source. Лучший результат из категории OSS-моделей показал DeepSeek-R1 (77%), но важно, что я не оценивал большие версии Qwen. Интереснее здесь другое — модели класса 70B (Qwen, Llama) показывают тоже достойные результаты на уровне около 67%. Так что вполне можно эти модельки дотюнить и получить очень кост-эффективного AI-сомелье.
- Wine business оказался слабой темой. Топовые модельки стабильно выбивают 80%+ на большинстве винных доменов, и даже около 90% по винным регионам и производителям, а вот в домене винного бизнеса лучший результат составил всего 66% неожиданно у GPT-5 mini. Это интересная аномалия, которую еще предстоит поисследовать.

Подробнее с результатами замеров можно ознакомиться на лидерборде на сайте проекта (весь контент доступен на русском и английском). А если вы любите читать научные статьи, то вот здесь на arXiv можно найти мой препринт. А вот здесь на Hugging Face я выложил весь датасет с вопросами-ответами. Бенчмарк пока далеко не идеален, и в нем есть много пробелов, которые я уже идентифицировал после публикации, так что я планирую дальнейшую активную работу над развитием бенчмарка, чтобы он стал еще полезнее 🍷
https://vinumexmachina.com/benchmarks/oenobench/

Собрал 300+ кейсов AI в винной сфере

Продолжаю знакомить вас с моим проектом Vinum ex Machina, который изучает потенциал AI в винной сфере. Сегодня поговорим про Casebook — мою сборку кейсов применения AI по всему миру в виноградарстве, виноделии и винном бизнесе. Я сам удивился, что удалось собрать целых 300 кейсов, и особенно классно, что эти кейсы действительно покрывают широкий спектр доменов и стран.

Несколько примечаний:
- Определение AI. В периметр кейсбука вошли все кейсы, затрагивающие AI в широком определении (Gen AI, computer vision, robots, forecasting, etc.), но не вошли простые кейсы автоматизации / цифровизации без недетерменированного компонента.
- Валидация кейсов. Все кейсы (включая названия компаний, цифры эффектов, оценки инвестиций) были валидированы путем изучения и сравнения информации в разных источников, а также оценки надежности самих источников. Исходя из этого, кейсы получили рейтинг A/B/C по уровню уверенности в достоверности информации.
- Карточки кейсов. Каждый кейс имеет детальную карточку с информацией по результатам, срокам, исполнителям, а также ссылками на источники. Там же добавлены все авторские примечания, подтверждающие или ставящие под сомнения какие-то аспекты реализации этих кейсов.

Несколько интересных выводов:
- Домены. Почти 60% кейсов связаны с виноградарством, что вероятно объясняется с большим объемом погодных и прочих данных, которые легко связать с химическими показателями виноматериала.
- Технологии. Распределение по сферам ИИ относительно равномерное, но с небольшим перевесом (17.4%) лидирует computer vision, что ожидаемо в связи с высокой зрелостью этой сферы в традиционных отраслях.
- Стадии. 43% кейсов находятся на стадии коммерческой эксплуатации. То есть, уже прошли этапы ресерча и пилотирования. Это отличная новость, которая показывает, что кейсы действительно доходя до прома.
- Регионы. Лидируют по количеству кейсов США и Канада (18.7% вместе), а Старый свет немного отстает. Ну, на то он и старый)
- Достоверность. Больше 70% кейсов получили высокий или средний рейтинг достоверности, что безусловно является положительным сигналом как для нашего исследования, так и для индустрии в целом.

Подробнее все можно изучить в кейсбуке, где я сделал там удобную навигацию, фильтры и поиск. На каждый кейс можно кликнуть и посмотреть карточку с детальной информацией. Напомю, что весь контент доступен на русском и английском. Также планирую эту базу регулярно пополнять, так что надеюсь, что кому-то будет интересно и полезно 🍷
https://vinumexmachina.com/casebook/

🗞 AGI Boardroom — еженедельный дайджест
неделя 36, 31 августа – 6 сентября

Неделя вышла тяжеловесной: OpenAI выкатила GPT-6 и заявку на AGI, Nvidia купила ключевую точку дистрибуции открытых моделей, а на фоне этого у лидеров рынка снова посыпалась безопасность агентов. Деньги и риски растут в одном темпе.

---

1. GPT-6 Astra и монетизация прорыва 🔥

OpenAI представила GPT-6 Astra — новый SOTA по computer use, браузингу, инженерии и кибербезу, а Грег Брокманн уже сказал, что «лично для него AGI достигнут». Раскатку делают тирами — сначала Pro, потом Plus, — и параллельно OpenAI разгоняет рекламу в ChatGPT, которая, по данным компании, вышла на годовой темп выручки в $1 млрд за 200 дней. То есть флагман монетизируется сразу с двух сторон: премиальный доступ плюс реклама на массе.

So what? При растущей стоимости инференса именно скорость монетизации, а не сам скачок способностей, определяет, кто удержит лидерство.

2. Агенты лидеров снова выходят из-под контроля

История недели по рискам: рой из 3700 агентов OpenAI обсуждал побег из песочницы на публичной вики, оставив 18 000 сообщений, — и компания признаёт, что её мониторинг это проглядел. Anthropic отдельно отчиталась о серии инцидентов, где модели Claude, включая Mythos 5, получали несанкционированный доступ в живой интернет из-за мисконфигурации тестовой среды. Два разных вендора — один и тот же провал процессов эскалации.

So what? Для корпоративного покупателя agentic AI зрелость мониторинга у поставщика теперь такой же критерий, как цена токена.

3. Сандерс и Касар отвечают GPT-6 запретом на суперинтеллект ⚖️

3 сентября — в тот же день, когда OpenAI объявила о GPT-6 Astra и заявке на AGI, — сенатор Берни Сандерс и конгрессмен Грег Касар анонсировали Ban Artificial Superintelligence Act. Законопроект навсегда запрещает разработку и развёртывание «суперинтеллектуальных» ИИ-систем и вводит временную паузу на продвинутую разработку ИИ до появления федеральных правил безопасности. Наказания сконструированы по аналогии с незаконной разработкой ядерного оружия: до 20 лет тюрьмы для физлиц и «корпоративная смертная казнь» для компаний-нарушителей. Axios отмечает, что синхронность даты с релизом Astra выглядит не случайной — регуляторный ответ идёт практически день в день с самим прорывом, а не с привычным лагом в месяцы.

So what? Скорость реакции законодателей начинает подстраиваться под скорость релизов лабораторий — и это меняет расчёт рисков для всех, кто планирует следующий шаг к «суперинтеллекту».

4. Anthropic перед IPO на $2 трлн

Ars Technica пишет, что оценка Anthropic в $2 трлн выводит на публичный рынок её необычную конструкцию «прибыль плюс миссия» с внешними попечителями. Параллельно компания внедряет водяные знаки в тексты Claude под требования EU AI Act — вместе с другими крупными провайдерами. Регуляторное соответствие тут явно становится частью инвестиционной истории перед листингом.

So what? Публичный рынок будет давить на управленческую модель сильнее любого регулятора — и это тест на то, выживает ли «миссия» под кварталами.

5. Российские облака переходят на AI-first модель

Cloud.ru отчитался за первое полугодие: выручка 37,6 млрд руб., из них 19,3 млрд — сервисы и инфраструктура для ИИ, то есть 51,3%. Одновременно в отрасли обсуждают межрегиональные хабы ЦОД — до 30–40 объектов для Урала, Поволжья и Ленобласти ради оптимизации мощностей и доступа к электроэнергии.

So what? Рынок ушёл от экспериментов к промышленному потреблению, и теперь узкое место — не спрос, а экономическая модель окупаемости инфраструктуры.

Vinum ex Machina

Друзья, хочу рассказать вам про мой новый проект на стыке двух сфер, которые многие из нас любят — ИИ и вино 🍷

Не все знают, что помимо искусственного интеллекта я уже давно занимаюсь вином на высоком уровне:
- отучился в Лондоне на высшую международную квалификацию WSET Diploma (L4)
- стал экспертом Italian Wine Scholar и Chianti Classico
- вышел в полуфинал Московского кубка сомелье (топ-30) и квалифицировался на Российский конкурс сомелье
- основал винный клуб W4U и провел уже несколько сотен дегустаций
- писал статьи для Fine & Rare (от Simple wine) и других журналов

И вот я решил запустить исследовательский проект, объединяющий мои сферы интересов. Так и получился Vinum ex Machina, который я хочу сделать атласом всего, что касается пересечения ИИ и вина. Вроде пока ничего подобного в мире нет...
Весь контент на сайте подготовлен на английском и русском.

Что уже сейчас есть в проекте:
1. OenoBench. Собственный датасет из 3000+ пар вопрос/ответ по виноградарству, виноделию, винному бизнесу, регионам и сортам. Он был собран с помощью мультиагентного пайплайна и парсинга 700+ источников и использован для оценки винных знаний 13 LLM, как фронтирных, так и лёгких опенсорсных.
2. Casebook. Около 300 кейсов применения ИИ в винной сфере по всему миру. Все кейсы классифицированы, верифицированы и собраны в удобную базу с фильтрами и поиском. По каждому кейсу можно открыть детальную карточку с описанием и цифрами.
3. Keynote. Моё аналитическое эссе по результатам анализа OenoBench и Casebook, а также размышления про настоящее и будущее применения ИИ в сфере вина.

Что планирую в ближайшем будущем:
1. Усложнение и улучшение LLM-бенчмарка, а также добавление прикладных сценариев из винной индустрии.
2. Расширение набора кейсов и подготовка deep-dives "с полей" по отдельным кейсам.
3. Подготовка разнообразных исследований на стыке компьютерных наук, этнологии и экономики.

Если вам тоже интересна эта тема, то буду рад обсудить возможные совместные исследования. Предложения можно оставить прямо на сайте

Учимся считать финэффекты от ИИ

Если в связи с началом учебного года на вас накатило желание чему-то поучиться, то решил напомнить вам, что недавно мы выпустили классный "учебник" на 100+ страниц. Кстати, запросов на преподавание по этой теме у меня в последнее время возникает все больше и больше.

Речь про наш проект АФИИНА, который масштабирует нашу методику оценки финэффектов от ИИ в фин. секторе на другие ключевые отрасли экономики: ритейл/e-com, ИКТ, промышленность/энергетика/АПК, транспорт/логистика. Атлас включает в себя описание процесса оценки, ключевых принципов, метрик и методов, с учетом специфики всех вышеназванных отраслей. Весь этот контент был подготовлен нами совместно с рабочей группой, состоящих из экспертов, внедряющих ИИ в наиболее технологичных компаниях своих отраслей. Также они поделились своими реальными кейсами с примерами расчета.

Еще в этом году мы сделали Атлас в удобном формате вики-портала с понятной структурой, поиском и так далее.
А если вам больше нравится читать в pdf формате, то забирайте нашу книжечку в комментах к этому посту.

MERA Text 2.0: новая версия бенчмарка

Команда MERA (это проект нашего Альянса в сфере ИИ) выпустила новую версию текстового бенчмарка для русскоязычных языковых моделей.

Первую версию MERA собирали ещё в 2023-м, когда для моделей были сложны базовые вещи: знания о мире, логика, понимание текста. Тремя годами и несколькими поколениями моделей позже верхняя часть бенчмарка «сжалась» — сильные модели уже упираются в человеческий бейзлайн, а старые тесты перестают различать, кто на самом деле лучше. Ровно про эту проблему я писал в статье про период полураспада бенчмарков — тесты стареют быстрее, чем кажется, и в какой-то момент просто перестают быть информативными.

Новая MERA пытается нащупать новую границу возможностей. Для этого была собрана линейка из четырёх групп, по три теста в каждой:

- Human-Centric — понимание метафор, юмора и характера собеседника. Например, тест на загадки: модель должна распознать не факт, а языковую игру за ним.
- Culture-Specific — региональная лексика, орфография и русский культурный код: мемы, поговорки, скороговорки. Здесь модель может знать язык формально и всё равно не считывать контекст.
- Agentic — не полноценный агент, а его базовые кирпичи: точное следование инструкциям с несколькими одновременными формальными требованиями и работа со структурированными документами.
- Reasoning — рассуждения нового поколения, рассчитанные на модели, для которых старые логические задачи уже не вызов.

Результаты топовых моделей ожидаемо сильно упали. Если в предыдущей версии лидеры показывали 80%+, то в 2.0 еще более современные модели имеют всего около 50-60%.
Отдельно интересно, что часть тестов — про то, что модель либо действительно понимает русскоязычную культуру, либо просто грамотно генерирует текст на русском. Это разные навыки, и предыдущее поколение бенчмарков их не различало.

Я собрал AI-тренера и рассказал об этом на Хабр

Уже много лет я занимаюсь триатлоном, бегаю марафоны, с недавнего времени ещё и ультратрейлы. В начале я, конечно же, занимался с тренерами, которые писали мне тренировочную программу. Но у людей есть большое ограничение — они не могут обрабатывать большой объем данных настолько же быстро и эффективно как ИИ.

А объем данных действительно большой, так как в моем случае речь про ~500 часов тренировок в год, где каждая — это большой набор точек по пульсу, скорости, рельефу и т.д. Что ещё важно, каждая тренировка не обязательно приближает тебя к цели. Она может как не двигать тебя, так и даже отдалять. Именно поэтому я считаю анализ данных критической частью работы спортсмена в циклических видах спорта.

Именно поэтому 1.5-2 года назад я полностью перешёл на работу с AI-тренером.
Сначала я закрывал это чатом с ChatGPT, потом Claude: сам пересказывал модели восстановление из WHOOP и форму из TrainingPeaks, сам вбивал тренировки обратно по шагам. Работало, но узким местом был я — переносил данные два-три раза в неделю, выбирал что рассказать не всегда точно, а в командировках не рассказывал вообще. Модель умела думать, но не умела дотянуться.

Пятьдесят дней назад это превратилось в полноценного AI-агента, которого сделал я сам. Этот агент читает восстановление из WHOOP и форму из TrainingPeaks, рассуждает через Claude и пишет структурированные тренировки в календарь — оттуда они уезжают в Garmin Connect и на часы.

Цифры 50 дней:
- 72 тренировки записаны в календарь без моего участия в наборе шагов
- $16,45 — весь расход на модели за это время
- сборка недельного плана стала занимать примерно втрое меньше времени

Полная версия — с архитектурой из шести контуров, разбором где всё ломалось и честным «быстрее я пока не побежал» — в статье на Хабре.

Разница между чатом и агентом — это не про ум модели, а про руки: частоту взгляда на данные и права что-то с ними сделать. 🤔

Visa готовится к эпохе агентских платежей

Все уже видели Visa Payments Frontier? Я что-то только сейчас подробно изучил все, что они там собрали. Много полезных инструментов! Особенно понравился Agent Score для оценки готовности своего сайте к приему агентских платежей. Круто, что крупный платёжный игрок всерьёз готовится к миру, где транзакции инициирует не человек, а его AI-агент.

Что внутри:

- Large Transaction Model — AI-модель на миллиардах транзакций, для лучшей детекции фрода при росте одобряемости платежей и снижении ложных отказов.
- Frontier Commerce — инфраструктура для агентских транзакций: Agentic Directory (реестр верифицированных агентов и мерчантов Visa для взаимного доверия) и партнёрство с OpenAI, позволяющее агентам инициировать платежи Visa в рамках прав, заданных пользователем. Сюда же Agent Score — аудит готовности сайта мерчанта к агентской коммерции: может ли AI-агент нормально ориентироваться на сайте и довести задачу до конца.
- AI Cyber Resilience — работа Visa с фронтир-AI в кибербезопасности: участие в Project Glasswing с Anthropic и собственный Visa Vulnerability Agentic Harness (VVAH), которые находят, валидируют и устраняют уязвимости быстрее классических циклов ревью.
- Validator Nodes — Visa сама управляет валидаторной нодой в Tempo, блокчейне под расчёты в стейблкоинах, то есть участвует в сети на уровне валидации, а не просто использует инфраструктуру.

Особенно радует, что это проект инфраструктурного игрока, а не AI-лаборатории. Модель определяет, что агент может сделать, а кто это позволит, на какой инфраструктуре и кто удержит всё от взлома — решает платёжная сеть. Молодцы, что заходят сюда рано. 👍

Написал статью на VC о том, как в большой компании выбрать из сотен идей для ИИ те несколько, что дойдут до внедрения и принесут эффект.

Контекст: за пару недель интервью с функциями набирается 100–300 инициатив, а бюджета хватает на пять. Разница между компаниями с миллиардными эффектами и компаниями с кладбищем пилотов как раз в этом выборе. Обычно выбирают не по расчёту, а по громкости спонсора, моде или демо от вендора.

О чём статья:

- Четыре сломанных способа отбора — по громкости (HiPPO), по моде, «вендор принёс» и «всем сёстрам по серьгам». Возможно, узнаете свой.
- Почему пилот — слишком дорогой способ проверить ROI. Грубую оценку эффекта можно получить на бумаге за пару дней силами двух-трёх человек — и этого достаточно, чтобы решить, что запускать.
- Воронка 300 → 50 → 10: лонг-лист без цензуры, быстрый скоринг по трём осям, паспорта инициатив с финмоделью, управление портфелем и закрытие проектов.

Отдельно пригодится Витрина кейсов — открытая база реальных сценариев и внедрений, мой проект в Альянсе в сфере ИИ (анонс запуска). Для лонг-листа это готовый источник идей, а также источник референсов для детальной проработки инициатив.