Разбираем нашу новую работу — на этот раз с неожиданным выводом 😳
Rethinking the Role of Tensor Decompositions in Post-Training LLM Compression
[статья]
[код]
Тензорные разложения (Tucker, Tensor Train (TT)) выглядят идеальным инструментом для сжатия LLM: экспоненциальная компрессия, красивая теория, естественное соответствие структуре Transformer.
Но работают ли они на реальном деплое? Мы провели первое систематическое исследование — и ответ: нет.
🔍 Что мы сделали:
🔵проверили tensor- и matrix-разложения на dense (GPT-J 6B, LLaMA 2 7B) и MoE (Qwen3-30B-A3B, GPT-OSS-20B) архитектурах
🔵сравнили с квантизацией (RTN 4/8 бит) на одинаковых модулях
🔵нашли и формализовали фундаментальную причину провала
💡 Главный вывод: тензорные форматы оптимизируют не ту геометрию.
Tucker и TT минимизируют ошибку по Фробениусу, а функциональное поведение модели определяется операторной нормой. На спектрах весов LLM (а они с тяжелыми хвостами: α < 1/2 — мы измерили!) разрыв растёт полиномиально с размером слоя.
Плюс super-weights: чтобы восстановить один критический скаляр с помощью truncated SVD, нужен ранг 1500+. Практические ранги даже близко не подходят.
📊 Результаты:
🔵Даже в MoE, где эксперты «должны» быть избыточны, matrix-метод MoBE стабильно бьёт тензорный TD-MoE
🔵Простая RTN-квантизация без потерь качества даёт ≈18% сжатия — недостижимо для любого разложения
🔵LoRA-repair смягчает, но не лечит
Итог честный: тензорные разложения — не замена квантизации, а в лучшем случае дополнение. И теперь понятно, почему.
👇 Листай карточки — объяснили простым языком.
#разборстатьи@brainlaboratory
Rethinking the Role of Tensor Decompositions in Post-Training LLM Compression
[статья]
[код]
Тензорные разложения (Tucker, Tensor Train (TT)) выглядят идеальным инструментом для сжатия LLM: экспоненциальная компрессия, красивая теория, естественное соответствие структуре Transformer.
Но работают ли они на реальном деплое? Мы провели первое систематическое исследование — и ответ: нет.
🔍 Что мы сделали:
🔵проверили tensor- и matrix-разложения на dense (GPT-J 6B, LLaMA 2 7B) и MoE (Qwen3-30B-A3B, GPT-OSS-20B) архитектурах
🔵сравнили с квантизацией (RTN 4/8 бит) на одинаковых модулях
🔵нашли и формализовали фундаментальную причину провала
💡 Главный вывод: тензорные форматы оптимизируют не ту геометрию.
Tucker и TT минимизируют ошибку по Фробениусу, а функциональное поведение модели определяется операторной нормой. На спектрах весов LLM (а они с тяжелыми хвостами: α < 1/2 — мы измерили!) разрыв растёт полиномиально с размером слоя.
Плюс super-weights: чтобы восстановить один критический скаляр с помощью truncated SVD, нужен ранг 1500+. Практические ранги даже близко не подходят.
📊 Результаты:
🔵Даже в MoE, где эксперты «должны» быть избыточны, matrix-метод MoBE стабильно бьёт тензорный TD-MoE
🔵Простая RTN-квантизация без потерь качества даёт ≈18% сжатия — недостижимо для любого разложения
🔵LoRA-repair смягчает, но не лечит
Итог честный: тензорные разложения — не замена квантизации, а в лучшем случае дополнение. И теперь понятно, почему.
👇 Листай карточки — объяснили простым языком.
#разборстатьи@brainlaboratory