ReplaceMe: в ИТМО придумали, как радикально ускорять LLM без дообучения
На конференции Data Fusion уже 5 лет вручают премию Data Fusion Awards. Награждают компании, лаборатории и отдельные статьи. С каждым годом популярность премии растет: в 2026 на трек "Научный прорыв года в ИИ" поступило уже более 140 заявок. Призовой фонд составил 3 миллиона рублей.
Поздравляем победителей этого года и советуем к прочтению их работы:
1. Татьяна Земскова с серией работ о 3DGraphLLM – про то, как ребра графов могут помочь роботам лучше понимать окружающий мир
2. Александр Колесов с серией работ Field Matching – о разработке генеративной модели на основе идеи электростатического согласования полей
3. Дмитрий Шопхоев с работой ReplaceMe – про сжатие LLM
Последняя работа приглянулась нам особенно. Студенты ИТМО с научными руководителями обнаружили крайне интересную вещь: в трансформерах целые группы слоев можно схлопывать до линейных операций, существенно ускоряя модели без больших потерь в качестве.
Почти любая попытка прунинга обычно упирается в необходимость дообучения, но здесь ученые продемонстрировали совершенно другой подход. Они берут последовательность трансформер-блоков, которые "по идее" выполняют сложные нелинейные преобразования, и заменяют их одной линейной операцией, подобранной так, чтобы она максимально точно воспроизводила их поведение.
Для этого не нужно обучать модель заново – достаточно прогнать небольшой калибровочный датасет через оригинальную сеть и посчитать линейное отображение между входами и выходами этих блоков.
Авторы показывают, что можно удалить примерно до четверти слоев и сохранить около 90% исходной производительности. Это очень сильный результат, если учитывать, что речь идёт о полностью training-free подходе. На фоне других методов сжатия ReplaceMe выглядит особенно сильно: при сопоставимом уровне прунинга он держит качество лучше большинства подходов и при этом избавляет от дорогостоящего дообучения.
Действительно значимая работа. Еще раз поздравляем авторов с заслуженной победой и желаем дальнейших сильных результатов и научных прорывов!
На конференции Data Fusion уже 5 лет вручают премию Data Fusion Awards. Награждают компании, лаборатории и отдельные статьи. С каждым годом популярность премии растет: в 2026 на трек "Научный прорыв года в ИИ" поступило уже более 140 заявок. Призовой фонд составил 3 миллиона рублей.
Поздравляем победителей этого года и советуем к прочтению их работы:
1. Татьяна Земскова с серией работ о 3DGraphLLM – про то, как ребра графов могут помочь роботам лучше понимать окружающий мир
2. Александр Колесов с серией работ Field Matching – о разработке генеративной модели на основе идеи электростатического согласования полей
3. Дмитрий Шопхоев с работой ReplaceMe – про сжатие LLM
Последняя работа приглянулась нам особенно. Студенты ИТМО с научными руководителями обнаружили крайне интересную вещь: в трансформерах целые группы слоев можно схлопывать до линейных операций, существенно ускоряя модели без больших потерь в качестве.
Почти любая попытка прунинга обычно упирается в необходимость дообучения, но здесь ученые продемонстрировали совершенно другой подход. Они берут последовательность трансформер-блоков, которые "по идее" выполняют сложные нелинейные преобразования, и заменяют их одной линейной операцией, подобранной так, чтобы она максимально точно воспроизводила их поведение.
Для этого не нужно обучать модель заново – достаточно прогнать небольшой калибровочный датасет через оригинальную сеть и посчитать линейное отображение между входами и выходами этих блоков.
Авторы показывают, что можно удалить примерно до четверти слоев и сохранить около 90% исходной производительности. Это очень сильный результат, если учитывать, что речь идёт о полностью training-free подходе. На фоне других методов сжатия ReplaceMe выглядит особенно сильно: при сопоставимом уровне прунинга он держит качество лучше большинства подходов и при этом избавляет от дорогостоящего дообучения.
Действительно значимая работа. Еще раз поздравляем авторов с заслуженной победой и желаем дальнейших сильных результатов и научных прорывов!