Neon: Negative Extrapolation from Self-Training Improves Image Generation
[код]
Мой любимый формат статей - простые, понятные и полезные находки с высоким потенциалом практической применимости. С первого дня ICLR очень запомнилась работа в этом жанре о методе Neon - простом трюке, на который авторы случайно наткнулись изучая баланс precision/recall генераций разных моделей.
Известно, что если дообучать диффузионку на собственных генерациях, она довольно быстро начинает коллапсировать: визуальное качество генераций падает, разнообразие деградирует. Фактически, такой процесс разменивает recall на precision.
Авторам пришла в голову следующая идея, похожая на autoguidance в пространстве весов. Давайте веса немного сколлапсированной таким образом модели с некоторым весом вычтем из весов хорошо обученной, качественной модели.
Такой простой трюк на уровне task arithmetic позволяет бустануть и так неплохой ImageNet FID 1.43 до 1.03. Для обучения достаточно одной эпохи по 1000 синтетических семплов.
[код]
Мой любимый формат статей - простые, понятные и полезные находки с высоким потенциалом практической применимости. С первого дня ICLR очень запомнилась работа в этом жанре о методе Neon - простом трюке, на который авторы случайно наткнулись изучая баланс precision/recall генераций разных моделей.
Известно, что если дообучать диффузионку на собственных генерациях, она довольно быстро начинает коллапсировать: визуальное качество генераций падает, разнообразие деградирует. Фактически, такой процесс разменивает recall на precision.
Авторам пришла в голову следующая идея, похожая на autoguidance в пространстве весов. Давайте веса немного сколлапсированной таким образом модели с некоторым весом вычтем из весов хорошо обученной, качественной модели.
Такой простой трюк на уровне task arithmetic позволяет бустануть и так неплохой ImageNet FID 1.43 до 1.03. Для обучения достаточно одной эпохи по 1000 синтетических семплов.