Math and AI

417-й выпуск make sense: об устройстве контекстного окна моделей, неоднородности интеллекта и правилах контекст-инжиниринга

«То, что вчера требовало от эксперта знаний — сделать сайт, написать описание, разметить данные — сегодня модель делает почти что из коробки.»

«Модель на самом деле не ошибается — просто у неё нет понимания, как решать именно эти задачи.»

«Когда вы ловите себя на том, что повторяете модели одно и то же снова и снова, — это сигнал, что в контексте появилась дыра.»

Ведущий:
Юра Агеев, основатель ProductSense

Конференция ProductSense пройдёт 10—11 сентября 2026 года в Москве. Сайт конференции: https://productsense.io

Подписывайтесь на канал анонсов подкаста: https://t.me/mspodcast

О чем говорим:
00:00 — Введение
02:50 — Устройство контекстного окна на примере аналогий
04:14 — Статистический разрыв при обучении модели
05:09 — Семантический разрыв при обучении модели
06:56 — Ошибки мышления модели, подхалимство и уход от ответственности
09:00 — Захламление контекста и сжатие
11:11 — Две картины мира: человек и модель
18:22 — Неоднородность интелекта моделей и рваные границы
21:40 — Почему дообучить модель самому — это тупик?
22:16 — Контекст-инжиниринг: то, на что мы реально влияем
24:52 — Правило 1: разбивать задачи на чаты и контролировать сжатие
26:16 — Правило 2: не сваливать 30 файлов сразу, ловушка якорения
27:50 — Правило 3: hand-off, выжимка задачи для следующей сессии
28:51 — Правило 4: разметка источников по важности и актуальности
31:04 — Правило 5: повтор инструкций — сигнал о дыре в контексте
32:31 — Луп-инжиниринг: что приходит на смену

Словарик:
Луп-инжиниринг — (Loop Engineering) практика проектирования систем, которые автономно управляют работой ИИ-агентов

Слушать: 
— Telegram 
— Mave 
— Apple 
— Яндекс
— YouTube

🔥Всем привет!

📆Завтра (05.06) в 17:00 Егор Черепанов, Алексей Староверов и Татьяна Земскова разберут архитектуру и методы обучения и инференса модели

RLDX-1

от корейского стартапа RLWRLD и обсудят, почему эту работу уже можно считать заметным вызовым современным VLA-моделям.

⚫️Авторы предлагают VLA-архитектуру для мобильной манипуляции, которая объединяет память на разных уровнях, тактильные сигналы, синтетические данные для редких сценариев и оптимизации инференса для работы в реальном времени.

⚫️Отдельно будет уделено внимание архитектуре MSAT, где разные модальности обрабатываются отдельными потоками и затем связываются через совместное self-attention.

⚫️Также будет разобрано, как эти инженерные и модельные решения переводятся в практический результат: RLDX-1 работает на частоте до 22 Гц на RTX 5090, а в экспериментах на реальном роботе и в симуляции заметно превосходит сильные базовые модели, включая π0.5 и NVIDIA GR00T N1.6. В частности, в задачах для гуманоидного робота ALLEX модель достигает 86.8% успеха против примерно 40% у конкурентов.

⚫️На семинаре обсудим, насколько эти результаты делают RLDX-1 серьёзным конкурентом для Pi0.7 и других SOTA VLA, а также посмотрим, что особенно важно для сообщества: у работы уже доступны код и веса.

Ссылки:
1. Технический репорт
2. Код и веса моделиr

🍿Ссылка на подключение

Подписаться⤵️
Embodied AI Reading Club

Технический отчёт Step 3.5 Flash — часть 1/2

Step 3.5 Flash [hf] — опенсорсная MoE-модель на 196 миллиардов параметров, из которых 11 миллиардов активные.При таком размере модель демонстрирует конкурентные результаты в сравнении с более крупными опенсорсными и проприетарными моделями. Разберём, как устроена Step 3.5 Flash.

Архитектура

Одна из главных целей, которую ставили перед архитектурой разработчики — создать модель с низкой задержкой (latency) для использования в агентских сценариях. Добиваются этого с помощью гибридного механизма внимания, sparse MoE и Multi Token Prediction (MTP). В каждом MoE-слое — 288 routed-экспертов и один shared-эксперт, при этом для каждого токена активируются восемь routed-экспертов. Модель содержит 45 слоёв. По сравнению с современными открытыми MoE-моделями (DeepSeek-V3.2, Qwen-3.5, GLM-5), здесь больше мелких экспертов, более высокая sparsity и меньшее число слоёв, что снижает вычислительные затраты на один шаг инференса.

Авторы используют схему 3:1 — последовательных слоя внимания используют механизм скользящего окна (sliding-window attention, SWA), а каждый четвёртый — классический (full attention, FA). Есть Grouped Query Attention с восемью KV-головами (GQA-8), что даёт эффективное распределение KV-кэша на стандартных нодах с восемью GPU и тензорный параллелизм на восемь частей. Это ведёт к увеличению утилизации памяти. Attention становится memory-bound, освободившиеся вычислительные ресурсы идут на MTP — speculative drafting и verification.

Изначально метод чередования слоёв (3 SWA на 1 FA) уступал классической FA-архитектуре по качеству на бенчмарках. Авторы смогли исправить эту проблему, увеличив число query-голов с 64 до 96. Вторая модификация — Head-Wise Gated Attention, который в SWA снижает влияние шумовых активаций в случаях, когда релевантный контекст отсутствует внутри локального окна.

В модели используется стандартный Sparse MoE с fine-grained-сегментацией, при которой отдельные подпространства скрытого представления маршрутизируются независимо. Для лучшего распределения токенов по экспертам применяется механизм EP-Group Balanced MoE Routing, который оптимизирует равномерное распределение токенов по экспертам и по GPU.

Используют три MTP-головы. В течение обучения учится только одна, а остальные две — лишь на последней стадии посттрейнинга. Добавляют также position-dependent loss reweighting, чтобы снизить влияние далёких токенов на лосс и не переучиваться на их предсказание.

Нестабильности в обучении

Авторы описывают три фактора нестабильности, с которыми боролись во время претрейна: спайки в лоссе, «мёртвые» эксперты и «взрывы» экспертов. Первые выявили в процессе обучения — обнаружили накопление ошибки сложения при вычислении полярной декомпозиции в оптимизаторе Muon. Смена типа данных с bfloat16 на float16 исправила проблему.

Даже при хорошем роутинге эксперты могут либо перестать учиться, либо генерировать «вредные» активации. Shared-эксперт может «давить» отдельных экспертов, не позволяя им учиться; плохо обученный эксперт способен «игнорироваться» впоследствии; при идеальном роутинге эксперты «соревнуются» даже за неподходящие им токены — всё это приводит к коллапсу отдельных экспертов. Таким образом, статистика роутинга — не показатель здоровья обучения: необходимо отслеживать нормы выходных активаций, весов, динамику изменений, распределение по экспертам. И использовать эти метрики для диагностики и стабилизации обучения.

Существует обратная проблема — «взрывы» активаций. Они происходят, когда эксперт, который обрёл узкую специализацию, даёт высокие активации важным для себя биграммам, особенно частотным. При использовании pre-norm ничто не ограничивает абсолютные значения при добавлении к residual. Если через гейт SwiGLU проходят активации, рост становится ещё сильнее. Muon при обучении может усиливать подобные паттерны, приводя к положительной обратной связи между активациями и обновлениями весов. Для борьбы с этим авторы использовали клиппинг на выходные активации и на веса экспертов.

Разбор подготовил ❣ Антон Селиванов

Душный NLP

✏️На «Иванниковских чтениях»представили систему, способную автоматизировать полный цикл исследования до написания научной статьи

О разработке рассказал Илья Макаров (AIRI, ИСП РАН, Университет Иннополис) в рамках секции «Управление данными и искусственный интеллект». Сегодня система также обсуждалась на конференции в рамках пленарной дискуссии и проектной сессии «Доменные ИИ-пилоты для развития научных исследований».

Разработка уже продемонстрировала практический результат: с её помощью были подготовлены две научные статьи, опубликованные на ведущих международных конференциях уровня A*.

Создание данной системы демонстрирует фундаментальный сдвиг в исследовательской деятельности под влиянием ИИ: приоритет смещается с формального выполнения публикационных требований на достижение измеримой практической пользы. Роль исследователя трансформируется в определение социально и технологически значимых задач, тогда как инструментальная часть научного цикла будет автоматизирована современными ИИ-решениями,

— отметил Илья Макаров.

💬ИСП РАН в Telegram
💬ИСП РАН в МАКС

🔥 AlphaProof Nexus: формальные доказательства начинают превращаться в инженерный пайплайн

Google DeepMind показали AlphaProof Nexus - систему, которая автономно закрыла 9 открытых задач Эрдёша, часть из которых висела десятилетиями. По оценке авторов, стоимость решения одной задачи составила всего несколько сотен долларов.

Кроме этого, система доказала 44 открытые гипотезы из OEIS, закрыла 15-летний вопрос в алгебраической геометрии и нашла новый алгоритмический параметр в оптимизационной теории, который раньше не был описан людьми.

Модель генерирует идеи и фрагменты доказательств, а Lean проверяет каждый логический шаг через компилятор. Если доказательство некорректно, оно просто не проходит проверку. Не нужен рецензент, который вручную ищет дыру в рассуждении.

Базовый агент, который просто чередует генерацию LLM и обратную связь от компилятора, смог повторить все 9 успешных решений задач Эрдёша. Более сложная версия с эволюционным поиском и reinforcement learning дала заметный выигрыш только на самых тяжёлых случаях.

Чем сильнее становятся foundation models, тем чаще простые циклы «сгенерировал - проверил - исправил» начинают догонять специализированные архитектуры.

Отличие от неформального подхода к математическим доказательствам принципиальное. Модель часто придумывала несуществующие леммы, ссылалась на «известные результаты» и пыталась спрятать сложность задачи в вспомогательное утверждение. В обычном текстовом доказательстве такие ошибки легко пропустить. Lean отсекает их сразу.

Ещё один неожиданный эффект: агент находил неточности в формализациях уже существующих математических утверждений. То есть он работал не только как решатель, но и как диагностический инструмент для самой постановки задачи.

Успехи пока сосредоточены там, где библиотека Lean уже достаточно зрелая: комбинаторика, теория чисел, оптимизация. Задачи, где нужно строить большой пласт новой теории, всё ещё далеко не закрыты. И большинство задач Эрдёша система не решила.


Та же схема подходит для кодигша, спецификаций, верификации протоколов, компиляторов, криптографии.

Формальная проверка отсекает галлюцинации.
Модель может придумать лемму или сослаться на несуществующий результат, но Lean это не пропустит.

https://arxiv.org/html/2605.22763v1

@ai_machinelearning_big_data