asisakov

Так, тут в той самой сореве Kaggriculture какой-то максимально жесткий движ и более 10к участников, а я со своими сабмитами отдыхаю внизу. Там типа вы с соперником фермеры, у каждого свой участок, и надо заработать больше денег, чем у соперника! Ну и дальше идет огромный простор вариаций игр, решений и параметров для управления

Вы сами посмотрите цифры

21,331 Entrants
11,379 Participants
10,174 Teams
19,438 Submissions

Интересно, что я предполагал, что это будет жесткой оптимизацией и подсчетом оптимальных путей, но все потихоньку начало превращаться в RL. В каждой 3-4 дискуссии уже буквально прямым текстом написано про RL. Вот тут например чел завел PPO и рассказывает про это. Лично мне с другой стороны понравился ноутбук от чела, где он рассказывает про математическую формализацию задачи. Короче, выиграть уже надежды нет, но блин какая это интересная сорева - интересно, что будет по итогам?

По крайней мере приложу интересные ссылочки!

#competition

Гермес, Пи или Уроборос

Пару дней назад не выдержал и удалил Гермеса. Все же слишком друноват для меня промпт и суммаризации показались. Хотя я последний месяц не обновлялся, мб они там все пофиксили, но я что-то не выдержал уже его тупизны после того, как он хоть 1 раз попробует сделать суммаризацию.

▫️Сейчас думаю перелезть на Pi агента - знаю, что многие его юзают
▫️А есть еще Уроборос от Антона (вот его выступление на PML Conf - вот мой кружок оттуда)

Пока раздумываю, что затестить, решил еще поставить Herdr (Orca уже удалил, даже не стал толком тестить ее)

Так и живем с агентами. У кого есть что из интересного потестить? Либо делитесь своими сетапами в комментариях💪

#agents

🇬🇧 Английский, который хочется не просто учить, а действительно использовать
Если вы давно собирались подтянуть английский, но постоянно откладывали — возможно, пришло время начать.
В ARNOVA SCHOOL можно заниматься английским онлайн с преподавателями с профильным образованием и большим опытом преподавания.
Здесь есть программы для разных целей и уровней:
• 🇬🇧 общий английский — от Elementary до Advanced;
• 🗣️ курс по современному британскому произношению;
• 📚 грамматика английского языка от А2 до B2+;
• 👩‍🏫 отдельные программы для преподавателей английского.
Занятия проходят онлайн, а обучение построено на системном подходе: объяснение материала, практика, домашние задания и обратная связь от преподавателя.
А ещё школа имеет образовательную лицензию, а после обучения предусмотрены документы об окончании курса.
Если хотите наконец разобраться с английским и заниматься системно — посмотрите программы ARNOVA SCHOOL:
👉 https://arnovaschool.com/

Оказывается недавно вышел Opus 5.5, который типа догоняет Fable 5.1, и при этом дешевле на 40% Opus’а 5, на котором я в основном и сидел.

При этом за пару дней читал в чатиках, как пацаны плевались от отупевшего Клода. Кстати, какой-то насыщенный месяц на запуски вышел. И Астра от КлозедАИ, и сам Фейбл 5.1 от Антропика того же, ну и конечно опенсурс МоЕ Яндексовый наш💪🏿

Кстати, видимо парни из Анторопика распарсили, что с такой эффективностью я точно смогу добить мой секретный отложенный проект, и потому забанили меня😹

Ну и надеюсь, что на фоне этих новостей Сама откроет уже снова $200 подписку, ато у многих есть потребность💪🏿

#llm

Что случилось

Яндекс выложил в открытый доступ базовую LLM, обученную с нуля. Это AliceAI-Foundation-80B-A3B-Base - базовая ллм моделька под лицензией Apache 2.0. И это первая большая LLM Яндекса, обученная полностью с нуля, без инициализации из весов других моделей! (предыдущая Alice AI LLM 235B стартовала с весов Qwen3-235B-A22B)

🔖Эта модель - MoE Transformer на 80B параметров, из которых 3B активных. Состоит из 48 трансформерных блоков с hidden size 2048 и одного multi‑token prediction слоя. Каждый MoE‑слой содержит 512 routed experts с top‑k 10 и один shared expert. А для роутинга используется auxiliary‑loss‑free подход из DeepSeek‑V3. Из 48 attention‑слоёв 36 используют Kimi Delta Attention, а 12 full attention: после каждых трёх KDA‑слоёв расположен один full‑attention‑слой. Для агрегации представлений по глубине используется Attention Residuals (AttnRes), заменяющий обычное суммирование обучаемым взвешиванием.

На 8 из 10 бенчмарков фактологических знаний и экспертных навыков модель занимает первое место среди сравниваемых открытых претрейнов, и особенно сильна в задачах про Россию и русский язык. особенно круто, что работу с инструментами ребята заложили уже срзау в претрейн, потому что сильного reasoning без tool-use недостаточно для агентов. Напомню, что это базовая модель до посттрейна, и поэтому сравнивать напрямую с готовыми ChatGPT, Claude или Gemini некорректно. У нее еще нет ни инстракт SFT, ни полноценного RL.

Для обучения команда фактически пересобрала весь процесс обучения, начиная с корпуса данных и архитектуры до собственных scaling laws. Этапы претрейна состоят из 4-ех стадий, и их можно будет увидеть в таблице во вложении. Для построения же scaling laws брали модели на 5B и 10B параметров, обучали на 100–600B токенов с оптимизатором Muon и линейным scheduler.

Что интересного - первый запуск с предсказанным LR привёл к росту MoE-активаций и резкому скачку loss. Ребята воспроизвели проблему на небольшой модели и после стабилизации активаций вернулись к исходному прогнозу. Также была и еще одна интересность: конфигурация с меньшим batch size (8M, lr 5,5e-4) обошла большую (16M, lr 7,8e-4) в среднем на 0,46 п. п., причём улучшения были на 10 из 59 бенчмарков.

Кстати, по бенчам сравнивались с Alice AI LLM 235B, Qwen3.5-35B-A3B-Base, GLM-4.5-Air-Base (106B-A12B), Nemotron-3-Super-120B-A12B-Base и DeepSeek-V4-Flash-Base (284B-A13B). У модели при этом меньше и общих, и активных параметров, чем у всех, кроме Qwen. На 8 из 10 бенчмарков фактологических знаний, образования и экспертных навыков модель заняла первое место. Особенно сильна в задачах про Россию и русский язык, а на MATH-500 лучшие скоры.

AliceAI-Foundation-80B-A3B-Base предложена как экспериментальная база, на которой коллеги проверяют архитектурные и обучающие решения для будущей единой рассуждающей модели). На её основе будут развивать агентские возможности Алисы AI: посттрейн, SFT, полноценный RL, RLVR, работу с тулами и поиск.

Если вам нужна сильная русскоязычная базовая модель для дообучения - то это самый лучший вариант! Все необходимые подробности есть в техрепорте на Хабре, а веса лежат на HF!

Техрепорт
Модель

#llm