BRAIn Lab: Optimization and Beyond

🪐Четыре статьи BRAIn Lab приняты на EMNLP 2026!

Мы рады сообщить, что сразу четыре наших работы прошли отбор на одну из главных мировых конференций по обработке естественного языка - EMNLP 2026.

💡 Что вошло в программу:

⏺Rethinking the Role of Tensor Decompositions in Post-Training LLM Compression - переосмысление тензорных разложений в квантовании LLM; статья во многом с отрицательными результатами, полезными сообществу.
⏺HARP: Hadamard-Preconditioned Adaptive Rotation Processor for Extreme LLM Quantization - обучаемое адамарово преобразование для квантования моделей.
⏺WRDO: Weighted Refusal Direction Optimization in Aligned Language Models - более эффективный способ внедрения направлений отказа (запрета определенных тематик) в LLM.
⏺Dynamic LoRA Rank Allocation via Simplex-Constrained Optimization - способ неравномерного и динамического распределения рангов LoRA, исходя из важности слоев с точки зрения оптимизации.

💅Интересно, что мы подаем статьи на EMNLP впервые. И такой результат не может не радовать и говорит о довольно активном освоении нами области NLP.

Благодарим всех авторов за проделанную работу и поздравляем с заслуженным успехом!

BRAIn Lab на KDD

🇰🇷В Корее проходит конференция KDD (Conference on Knowledge Discovery and Data Mining).

Прямо сейчас Александр Мясников представляет нашу статью на постерной сессии:

Hierarchical Mixture-of-Experts with Two-Stage Optimization — новый взгляд на оптимизацию MoE-архитектур.

Ещё две наши работы прошли на воркшопы:
• TensorKDD — тензорные разложения для пост-тренировочного сжатия LLM
• RelKD — инференс моделей с рассуждением в экстремально низкой точности

Если вы на конференции - подходите к постеру #109, пообщаемся 👋

Больше об атмосфере на конференции и из Чеджу в фотографиях 📸

Разбираем нашу новую работу — на этот раз с неожиданным выводом 😳

Rethinking the Role of Tensor Decompositions in Post-Training LLM Compression

[статья]
[код]

Тензорные разложения (Tucker, Tensor Train (TT)) выглядят идеальным инструментом для сжатия LLM: экспоненциальная компрессия, красивая теория, естественное соответствие структуре Transformer.

Но работают ли они на реальном деплое? Мы провели первое систематическое исследование — и ответ: нет.

🔍 Что мы сделали:

🔵проверили tensor- и matrix-разложения на dense (GPT-J 6B, LLaMA 2 7B) и MoE (Qwen3-30B-A3B, GPT-OSS-20B) архитектурах
🔵сравнили с квантизацией (RTN 4/8 бит) на одинаковых модулях
🔵нашли и формализовали фундаментальную причину провала

💡 Главный вывод: тензорные форматы оптимизируют не ту геометрию.

Tucker и TT минимизируют ошибку по Фробениусу, а функциональное поведение модели определяется операторной нормой. На спектрах весов LLM (а они с тяжелыми хвостами: α < 1/2 — мы измерили!) разрыв растёт полиномиально с размером слоя.

Плюс super-weights: чтобы восстановить один критический скаляр с помощью truncated SVD, нужен ранг 1500+. Практические ранги даже близко не подходят.

📊 Результаты:

🔵Даже в MoE, где эксперты «должны» быть избыточны, matrix-метод MoBE стабильно бьёт тензорный TD-MoE
🔵Простая RTN-квантизация без потерь качества даёт ≈18% сжатия — недостижимо для любого разложения
🔵LoRA-repair смягчает, но не лечит

Итог честный: тензорные разложения — не замена квантизации, а в лучшем случае дополнение. И теперь понятно, почему.

👇 Листай карточки — объяснили простым языком.

#разборстатьи@brainlaboratory

Нишевые летние ивенты: от Байкала до Санкт-Петербурга 🌍

Лето - сезон научных путешествий, и не только заграницу😏. В июле наша лаборатория успела сорваться сначала на берега Байкала, потом - к набережным Петербурга. Два города, три события и разные форматы.

🏔 MOTOR-26

Первая остановка - берег Байкала, где прошла международная конференция MOTOR 2026 (Mathematical Optimization Theory and Operations Research).

Дмитрий Былинкин выступил с докладом "Importance Compression: A New Sparsification Mechanism for Distributed Learning" - о новом механизме сжатия для распределённого обучения.

🔭 Байкальская школа по физике элементарных частиц и астрофизике

Там же заглянули на летнюю школу от Лаборатории ядерных проблем ОИЯИ (Дубна) - она проходила в посёлке Большие Коты, тоже на берегу Байкала.

В программе были лекции по физике нейтрино, гамма-астрономии, астрофизике высоких энергий, командная работа над научными проектами, доклады и постерные сессии. А также поход на гору Скрипер и купание в Байкале 🥶.

Дмитрий Былинкин рассказал, как ML помогает восстанавливать события по данным детекторов - реконструкцию частиц глазами нейросетей. Получился диалог физики высоких энергий и современного AI.

🎓 Летняя школа "Управление, информация и оптимизация" им. Б. Т. Поляка

В Санкт-Петербург BRAIn Lab приехала одновременно и как слушатели, и как спикеры. Традиционная летняя школа объединила классическую теорию оптимизации, прикладной матричный анализ, а также круглые столы про AI Safety, применение ИИ в медицине и нейробиологии.

Наши три доклада на школе:

📌 "WeightLoRA: Keep Only Necessary Adapters" — Владимир Солодкин
📌 "Last-Iterate Convergence of Stochastic Optimization Methods: How to obtain High-Probability Guarantees" — Савелий Чежегов
📌 "Efficient LLM Pre-Training" — Глеб Молодцов

Глеб поделился впечатлениями:

"Я выступил с докладом, где предложил смотреть на оптимизаторы не только через призму сходимости, но и с учетом реальных ограничений по времени учета и памяти. Мне кажется, именно такой взгляд сегодня наиболее актуален для обучения LLM. Было особенно приятно видеть заинтересованность студентов: после лекции мы еще долго обсуждали современные работы, перспективные идеи и открытые вопросы в этом направлении"

Интересно, что еще три года ребята сами ездили на школу слушателями, а сейчас читают лекции, будучи опытными преподавателями и исследователями! 🥹

Что хотим сказать: мир науки - это частые путешествия: новые города, знакомства, рост и постоянный поиск точек, где твои знания оказываются полезны в совсем других областях, поэтому мы продолжаем искать 🔎

И вы присоединяйтесь к нам @brainlaboratory