А у нас есть очередная визуализация. На этот раз — для моделей, которые генерируют для вас (или, по крайней мере, для нас) картинки — диффузий. Чтобы вы лучше могли понять процесс
Диффузионные модели показывают впечатляющие результаты в самых разных областях, от создания изображений и видео до разработки лекарств. В отличие от GAN (генеративно-состязательные сети, другой принцип генерации), диффузионные модели работают по принципу постепенного разрушения данных с последующим восстановлением.
В основе диффузионных моделей лежат два процесса.
Первый – прямой процесс, или диффузия. На этом этапе к исходному изображению постепенно добавляется шум. Этот процесс повторяется до тех пор, пока изображение полностью не превратится в случайный шум.
Второй процесс – обратный, или обратная диффузия. Здесь нейронная сеть учится восстанавливать исходные данные, шаг за шагом убирая шум. Цель – научить модель предсказывать предыдущее состояние, основываясь на текущем.
Сейчас немного «духоты» для тех, у кого тоже стоит ComfyUI или Automatic. Процесс генерации в Stable Diffusion выглядит следующим образом: сначала текстовый запрос токенизируется и кодируется в векторное представление с помощью модели CLIP; затем, начиная со случайного шума, картинка постепенно уточняется с помощью U-Net, опираясь на текст; и, наконец, изображение масштабируется в высокое разрешение с помощью VAE.
Диффузионные модели более стабильны в обучении, но GAN, как правило, быстрее. Качество генерации у обоих подходов высокое, но диффузионные модели отличаются большей универсальностью.
Как мы видим из визуализации, диффузионные модели — это мощный инструмент. Благодаря своей стабильности, качеству и универсальности, они успешно применяются в разных областях. Пускай они медленнее GAN, перенос генерации в облако или оптимизация на уровне железа (у видеокарт Nvidia, например) сделала их по итогу доминирующим вариантом генеративных нейросетей на сегодняшний день. Все популярные опции для генерации изображений — Stable Diffusion, DALLE, Midjourney, imagen и другие — используют именно этот подход.
Диффузионные модели показывают впечатляющие результаты в самых разных областях, от создания изображений и видео до разработки лекарств. В отличие от GAN (генеративно-состязательные сети, другой принцип генерации), диффузионные модели работают по принципу постепенного разрушения данных с последующим восстановлением.
В основе диффузионных моделей лежат два процесса.
Первый – прямой процесс, или диффузия. На этом этапе к исходному изображению постепенно добавляется шум. Этот процесс повторяется до тех пор, пока изображение полностью не превратится в случайный шум.
Второй процесс – обратный, или обратная диффузия. Здесь нейронная сеть учится восстанавливать исходные данные, шаг за шагом убирая шум. Цель – научить модель предсказывать предыдущее состояние, основываясь на текущем.
Сейчас немного «духоты» для тех, у кого тоже стоит ComfyUI или Automatic. Процесс генерации в Stable Diffusion выглядит следующим образом: сначала текстовый запрос токенизируется и кодируется в векторное представление с помощью модели CLIP; затем, начиная со случайного шума, картинка постепенно уточняется с помощью U-Net, опираясь на текст; и, наконец, изображение масштабируется в высокое разрешение с помощью VAE.
Диффузионные модели более стабильны в обучении, но GAN, как правило, быстрее. Качество генерации у обоих подходов высокое, но диффузионные модели отличаются большей универсальностью.
Как мы видим из визуализации, диффузионные модели — это мощный инструмент. Благодаря своей стабильности, качеству и универсальности, они успешно применяются в разных областях. Пускай они медленнее GAN, перенос генерации в облако или оптимизация на уровне железа (у видеокарт Nvidia, например) сделала их по итогу доминирующим вариантом генеративных нейросетей на сегодняшний день. Все популярные опции для генерации изображений — Stable Diffusion, DALLE, Midjourney, imagen и другие — используют именно этот подход.