🧠 Representation-Space MMD for Diffusion Language Models
📄 Статья
Первое, что приходит в голову при слове «диффузия», — это «дистилляция» по шагам, ибо многошаговый инференс, как бы ни была хороша моделька, очень уж вычислительно затратен.
И это верно как для визуальных данных, так и для текстов.
Некоторое время назад мы с соавторами выпустили статью Scale-wise Distillation of Diffusion Models , где MMD-лосс хорошо показал себя в дистилляции диффузионных картиночных моделей.
В работе Representation-Space MMD for Diffusion Language Models ребята (в первую очередь два Ильи и Дима) перенесли данный подход на диффузионные языковые модели, и оказалось, что и для текстовых моделей MMD работает очень даже неплохо и заметно улучшает Парето-фронт качество/скорость.
📄 Статья
Первое, что приходит в голову при слове «диффузия», — это «дистилляция» по шагам, ибо многошаговый инференс, как бы ни была хороша моделька, очень уж вычислительно затратен.
И это верно как для визуальных данных, так и для текстов.
Некоторое время назад мы с соавторами выпустили статью Scale-wise Distillation of Diffusion Models , где MMD-лосс хорошо показал себя в дистилляции диффузионных картиночных моделей.
В работе Representation-Space MMD for Diffusion Language Models ребята (в первую очередь два Ильи и Дима) перенесли данный подход на диффузионные языковые модели, и оказалось, что и для текстовых моделей MMD работает очень даже неплохо и заметно улучшает Парето-фронт качество/скорость.