Сиолошная

VideoGameBench

В последнее время LLM демонстрируют способность решать невероятно сложные задачи на рассуждения в математике и программировании. Многие из этих задач чрезвычайно сложны для среднего человека. С другой стороны, люди могут с лёгкостью проходить видеоигры, но мы еще не видели, чтобы даже самые современные LLM или VLM полностью могли пройти такие игры, как Doom или Pokemon. Вот недавно с запуском Claude 3.7 Thinking запустили стрим, где модель играла в Pokemon — за этим следили тысячи людей!

Ofir Press, соавтор SWE-Bench, представляет VideoGameBench: бенчмарк из 20 старых игр в эмуляторах MS Dos и GameBoy. На самом деле пока это не совсем бенчмарк, а скорее платформа для него: нет способа оценки прогресса по ходу игры, разные модели не сравнивались — это ожидается в ближайшем будущем. Проект открыт, каждый может начать добавлять что-то (в том числе свои любимые игры) уже сейчас. Есть Civ 1, Doom II и WarCraft II !

Сейчас модели плохи в играх по нескольким причинам, я бы выделил три основные:
— невозможность быстро учиться из ошибок/по опыту
— проблемы с долгосрочным планированием
— неидеальное зрение / отсутствие навыка понимания/управления UI

Легко понять, что все три навыка очень сильно пригодятся агентам и рассуждающим моделям. Я уже несколько раз писал в канале про позитивный трансфер, когда обучение на чём-то одном приводит к улучшению и в других областях. Так и тут, велик шанс того, что тренировка на играх, на большом их количестве позволит делать шаг в улучшении LLM/VLM/систем поверх них.

UPD: я не сомневаюсь, что o1/o3 учили на текстовых играх, от крестиков-ноликов до условных быков-и-коров (возможно поэтому o3-mini у меня выбила 100%). Визуальная составляющая — следующий шаг.

Конкретно в этом бенчмарке в качестве входа доступна только картинки, никаких дополнительных текстовых описаний не предоставляется. Однако модель может писать себе заметки в «память», которая доступна на следующем шаге игры.

===

Так как современные модели относительно медленны, и их ответ можно ждать несколько секунд, то не все игры подходят для бенчмарка. Поэтому авторы отдельно выделили 7 игр, которые ставятся на паузу, пока VLM «думает». Очень жаль, что в список не вошла Civilization 🙁

===

Хоть авторы и не делали полноценные замеры, однако уже наблюдали за играми моделей. Они отметили, что VLM не могут даже пройти первые уровни в играх, но вот в Kirby's Dream Land даже до первого босса смогли дойти.

What gets measured — gets improved, так что к концу года модели, видимо, будут жарить 👍

Наша любимая рубрика «Новости OpenAI за неделю», девиз недели — «думаем наперёд»:

— Во вторник появилась новость, что OpenAI находятся на ранних стадиях разработки своей социальной сети, самым близким аналогом которой является Twitter у Elon Musk. Хотя по описанию в новости всё же больше похоже на Instagram: «источники сообщили, что существует внутренний прототип, ориентированный на генерацию изображений ChatGPT, и имеющий прокручиваемую ленту постов». Выход на рынок социальных сетей также ставит OpenAI на путь столкновения с Meta, которая, как сообщают в статье, планирует добавить социальную ленту в свое будущее приложение с ИИ-помощником. В целом шаг логичный, и позволит как получить больше данных, так и загребать новую аудиторию — ведь до конца года, по плану, нужно набрать миллиард ежедневных пользователей. А ещё почерпнул интересную мысль у TheInformation: «OpenAI наверняка знает, что многие пользователи ChatGPT делятся своим опытом использования на сайтах социальных сетей, таких как X и Reddit. OpenAI, вероятно, задаётся вопросом: «Зачем нам раздавать этот трафик, если мы можем оставить их себе?»

— В среду написали, что OpenAI раздумывает над покупкой Windsurf за 3 миллиарда долларов. Windsurf — это AI-first среда разработки, по своей сути очень похожа на Cursor и с ним же конкурирует. Почему OpenAI не хотели купить сразу Cursor? Они хотели, но цена слишком высока — предположительно, стартап раздуло до 10 миллиардов долларов в ходе подготовки к новому раунду инвестиций. Интересно, как поменяется динамика, если сделка состоится — насколько лучше станет Windsurf, и сколько пользователей перетечёт в него?

— Проект по постройке супер-датацентров Stargate хоть и фокусируется на строительстве инфраструктуры в США, но уже идут разговоры об экспансии в UK и/или Германию/Францию (если проект окажется «успешным», не знаю, что это значит в данном контексте). «По словам одного из лиц, участвующих в распределении расходов Stargate, планы правительства Великобритании по расширению доступа центров обработки данных к электричеству подстегнули интерес к проекту».

— Вместе с запуском новых рассуждающих моделей у OpenAI появился Flex-режим обработки API-запросов, подходящий для несрочных задач. Теперь вы можете указать, сколько готовы ждать (10-15 минут), и, если будут ресурсы, то ваш запрос обработают по цене вдвое ниже обычной. Это идеально подходит для разных бенчмарков/замеров/фоновой обработки. По сути то же самое, что Batch API, только ждать надо не 24 часа.

— o3/o4-mini комфортно приземлились на первые места во многих (но не всех) бенчмарках, обогнав Gemini 2.5 Pro: LiveBench, Aider, AIME 25, Fiction.liveBench, ...

— А ещё OpenAI начали отдавать саммари цепочек рассуждений o3 по API (видимо, также, как работает в ChatGPT в браузере). Однако фича доступна только верифицированным организациям — нужно отправить фотку паспорта и пройти проверку.

Я сам o3 почти не попробовал, но первую половину недели сидел на Gemini 2.5 Pro, очень помогла в паре задач, где GPT не хватало знаний (не самая популярная библиотека / проблемы). Хотя o1 Pro достаточно близка была.

===

— Пока CEO Nvidia лично встречается с главой DeepSeek, в США идут обсуждения о запрете использования моделей/сервисов китайского стартапа.

Вопрос к людям, которые хотя бы полистали AI 2027, и считают, что гонка между Китаем и США за развитие ИИ — это выдумка/полит. заказ/фантастика/.

Почему вы так считаете?

(В идеале в ответе больше 40 слов и 5 предложений)

Итак, пост-выжимка анонса:
— Основной упор на том, что модели гораздо лучше в мультимодальности (понимании изображений, даже нескольких за раз), и что это — лишь начало. У META будет LLAMACon в конце апреля, возможно, ещё больше моделей, включая рассуждающие, покажут там.
— Llama 4 Scout «маленькая» модель на 109 миллиардов параметров, но активны лишь 17 (поэтому будет быстрее, чем условно Gemma 3 27b). Говорят, что можно запускать даже на одной видеокарте с 80 гигабайтами в 4 бита, но это совсем извращение. «Народной» маленькой модели нет.
— Llama 4 Maverick, средняя версия (тоже 17 миллиардов активных параметров, но экспертов больше, потому и весов — больше: 400B) получила Elo-рейтинг 1417 на LMSYS Arena. Это второе место, выше GPT-4.5, но ниже Gemini 2.5 Pro. Однако это без учёта Style Control, и доска ещё не обновилась, поэтому оценим чуть позже. Модель Maverick заточена на запуск на одной H100 DGX-ноде (8 видеокарт)
—  Llama 4 Behemoth, огромная модель на 2 триллиона параметров, всё ещё тренируется; её пока не выпускают, но планируют в будущем. Она использовалась в качестве учителя при обучении маленьких моделей Scout и Maverick, из-за чего они и вышли очень мощными для своего размера. Без Behemoth такое качество бы не вышло (то же применимо к Claude Opus, которой «нет», Gemini Ultra, которой «нет», и GPT-4.5, которая есть, но почему-то люди переживают за её цену и скорость 😀)
— Для обработки изображений поменялся подход, теперь делают early fusion (если не знаете что такое, то и ладно).
— В данные для обучения Llama 4 добавили в 10 раз больше токенов языков, отличных от английского. Всего датасет порядка 30 триллионов токенов (x2 к предыдущему). Всего более 200 языков, 100 из которых имеют не менее 1 миллиарда токенов.
— Behemoth тренируется _всего_ на 32k видеокарт, зато с FP8
— Llama 4 Scout тренировалась с самого начала с 256k токенов контекста, которые потом расширили до 10M. Используют модификацию RoPE со вкраплением инсайдов из этой статьи. 10M токенов позволяют обрабатывать ~20 часов видео.
— Метрики длинного контекста замеряли в том числе на бенчмарке MTOB, «перевод по одной книге» (писал тут, TLDR: язык, который почти не описан, но по нему есть работа лингвистов; книгу дают LLM и просят переводить по ней — важно уметь читать всю книгу), получилось лучше Gemini 2.0 Flash Lite, но видимо хуже просто Flash (раз его не померили)
— Дообучение Бегемота является очень сложной инженерной задачей, META тут хвастается своим новым фреймворком, который существенно ускоряет процесс (аж чуть ли не в 10 раз). Интересно, что если для мелких моделей выкидывали 50% SFT-датасетов, то для бегемота выкинули 95%! и оставили лишь самое качественное. И в такой конфигурации получилось и эффективно (так как тренировочный цикл короче), и лучше (потому что только самое качественное дают модели).
— Mark подтвердил, что рассуждающие модели анонсируют на LLAMACon в конце апреля.
Ждом!

Если у вас аккаунт/VPN правильной страны, то с какой-то из новых моделек можно пообщаться тут: meta.ai (или в инстаграме/вацапе).