Репост из: Psy Eyes
Black Forest Labs: таки выпустили Flux 2.
Что у нас заявлено:
* Реализм и уход от пластикового вида кожи и окружения. Генерация 4 МП изображений.
* Нет необходимости в файнтюне: вписать персонажа/объект или перенести нужный стиль можно с рефа.
* Редактирование картинок текстом можно делать как по одному рефу, так и по десятку, что пригодится и для получения стабильных персонажей, и для генерации объектов из множества составляющих.
* Улучшена работа с текстом, в том числе и мелким.
* Понимание мира и как объекты должны взаимодействовать между собой.
Что по тестам?
Модель вышла в трёх вариантах: Pro, Flex и Dev. Первые две живут в облаке. Pro генерит максимально быстро и качественно. Flex тоже, но у тебя больше контроля над параметрами модели. Их можно погонять как на сайте BFL, так и у Replicate, Fal, Krea, итд. Это модели уровня нано-бананы и их нужно сравнивать с ней. Судя по примерам в сети банана всё-таки лучше.
В опенсорс ушла Dev. Она имеет 32B параметров, получена из базовой Flux 2,... и может дать прикурить Вану в плане потребления ресурсов. На 4090 + 128 ГБ RAM память используется вся какая есть, включая ту что у тебя в голове, ибо этот экспириенс запомнится надолго. Сегодня комфи выпустили обновление, которое хотя бы не закидывает всё целиком в RAM, и скорость увеличилась до 3,8 сек/ит в fp8, и до 5,5 сек/ит в fp16 при генерации 1248x832 в 20 шагов. То есть примерно 1 и 2 минуты на картинку соответственно.
В общем-то BFL у себя и на гитхабе говорят, что без ухищрений тебе и H100 не хватит, чтобы гонять модель целиком. Народ в твиттере обсуждает, что всему виной использование здоровенного текстового энкодера Mistrall Small 24B и желание сделать полностью европейский продукт. Возможно кто-то сможет заставить флюкс 2 работать с чем-то полегче и тогда будет ловчей. Или убёрет лишние блоки как было с Flux Lite и тем самым ускорит генку.
Народ конечно уже ваяет пожатые GGUF и всякие оптимизации ещё впереди, но они неизбежно будут влиять на качество. А к нему есть вопросы. Да, лицо уже не шакалится как в Kontext, детализация повысилась, а пластик начал выветриваться. Но даже при прогоне полной bf16 модели весом 64 ГБ и генерации 4 МП в 50 шагов будет много запоротых вариантов с похеренной структурой вписанного лого, кусками текста в ненужных местах, итд. А времени на одну картинку уйдёт 3 минуты. За тот же период в Qwen IE 2509 можно лайтнинг лорой сгенерить пару десятков вариков, отрендерить понравившийся полной моделью, и ещё останется время.
Плюс полученное локально из Flux 2 все ещё попадает под некоммерческую лицензию. В то время как у Qwen любой выходной контент принадлежит тебе для коммерции.
Другой проблемой является цензура, которой народ тоже не рад. Но тут можно выкрутиться лорами и AI-Toolkit уже добавил поддержку Flux 2 и даже запилил видеогайд по тренировке лор.
Там они ещё Flux 2 Klein собираются выпустить, который будет иметь Apache 2 лицензию. Вот только это будет дистиллят, и если уже к базовой модели вопросы, то тут ожидания ещё ниже.
В общем, хочется кричать "Кижай приди — порядок наведи!". Comfy добавили воркфлоу в шаблоны. Будем наблюдать за ситуацией.
Посмотрим чем ответит рисовая братва.
Демо
PFL Playground
Анонс
Comfy Воркфлоу
Хаггинг
Гитхаб
Что у нас заявлено:
* Реализм и уход от пластикового вида кожи и окружения. Генерация 4 МП изображений.
* Нет необходимости в файнтюне: вписать персонажа/объект или перенести нужный стиль можно с рефа.
* Редактирование картинок текстом можно делать как по одному рефу, так и по десятку, что пригодится и для получения стабильных персонажей, и для генерации объектов из множества составляющих.
* Улучшена работа с текстом, в том числе и мелким.
* Понимание мира и как объекты должны взаимодействовать между собой.
Что по тестам?
Модель вышла в трёх вариантах: Pro, Flex и Dev. Первые две живут в облаке. Pro генерит максимально быстро и качественно. Flex тоже, но у тебя больше контроля над параметрами модели. Их можно погонять как на сайте BFL, так и у Replicate, Fal, Krea, итд. Это модели уровня нано-бананы и их нужно сравнивать с ней. Судя по примерам в сети банана всё-таки лучше.
В опенсорс ушла Dev. Она имеет 32B параметров, получена из базовой Flux 2,... и может дать прикурить Вану в плане потребления ресурсов. На 4090 + 128 ГБ RAM память используется вся какая есть, включая ту что у тебя в голове, ибо этот экспириенс запомнится надолго. Сегодня комфи выпустили обновление, которое хотя бы не закидывает всё целиком в RAM, и скорость увеличилась до 3,8 сек/ит в fp8, и до 5,5 сек/ит в fp16 при генерации 1248x832 в 20 шагов. То есть примерно 1 и 2 минуты на картинку соответственно.
В общем-то BFL у себя и на гитхабе говорят, что без ухищрений тебе и H100 не хватит, чтобы гонять модель целиком. Народ в твиттере обсуждает, что всему виной использование здоровенного текстового энкодера Mistrall Small 24B и желание сделать полностью европейский продукт. Возможно кто-то сможет заставить флюкс 2 работать с чем-то полегче и тогда будет ловчей. Или убёрет лишние блоки как было с Flux Lite и тем самым ускорит генку.
Народ конечно уже ваяет пожатые GGUF и всякие оптимизации ещё впереди, но они неизбежно будут влиять на качество. А к нему есть вопросы. Да, лицо уже не шакалится как в Kontext, детализация повысилась, а пластик начал выветриваться. Но даже при прогоне полной bf16 модели весом 64 ГБ и генерации 4 МП в 50 шагов будет много запоротых вариантов с похеренной структурой вписанного лого, кусками текста в ненужных местах, итд. А времени на одну картинку уйдёт 3 минуты. За тот же период в Qwen IE 2509 можно лайтнинг лорой сгенерить пару десятков вариков, отрендерить понравившийся полной моделью, и ещё останется время.
Плюс полученное локально из Flux 2 все ещё попадает под некоммерческую лицензию. В то время как у Qwen любой выходной контент принадлежит тебе для коммерции.
Другой проблемой является цензура, которой народ тоже не рад. Но тут можно выкрутиться лорами и AI-Toolkit уже добавил поддержку Flux 2 и даже запилил видеогайд по тренировке лор.
Там они ещё Flux 2 Klein собираются выпустить, который будет иметь Apache 2 лицензию. Вот только это будет дистиллят, и если уже к базовой модели вопросы, то тут ожидания ещё ниже.
В общем, хочется кричать "Кижай приди — порядок наведи!". Comfy добавили воркфлоу в шаблоны. Будем наблюдать за ситуацией.
Посмотрим чем ответит рисовая братва.
Демо
PFL Playground
Анонс
Comfy Воркфлоу
Хаггинг
Гитхаб