Репост из: Tensor Banana
Треним лоры для Klein-9b в режиме редактирования
Klein-9b в режиме редактирования мне нравится больше, чем qwen-edit за счет большего реализма и меньшей деградации картинки после каждой генерации.
Тренить будем в OneTrainer. В другом софте тоже можно, но полноценную поддержку в некоторые трейнеры еще не везде завезли.
Установка OneTrainer
поддержки klein еще нет в master ветке, поэтому так:
git clone https://github.com/Nerogar/OneTrainer/
cd OneTrainer
git fetch origin pull/1261/head:pr-1261
git switch pr-1261
install.bat
Будем тренить поэтапно в разных разрешениях. 768 - основной этап, 1280 финальный этап. 768 - это довольно мало для двух склеенных картинок, потому нужен второй этап.
Датасет:
Собираем картинки до/после и переименовываем их по шаблону: 1_0.jpg, 1_1.jpg, 2_0.jpg, 2_1.jpg. где _0 - картинка "до", _1 - картинка "после". Расширение файла - любое. Соотношение сторон до-после должно быть одинаковым. Разрешение может быть разным, скрипт их заресайзит, если они разные.
Мой датасет для лоры pov_hand - 30 пар картинок. Картинки частично настоящие, а частично - синтетика (фото с рукой настоящее, фото без руки - генерация в klein).
Для того чтобы был именно режим редактирования картинок (image2image, а не text2image), нужно как-то приложить исходные картинки. В OneTrainer это делается через тренировку с масками (Masked training). Нужно склеить исходную и конечную картинки в одну и приложить дополнительно png файл с маской.
Мой питон скрипт для склейки, создания маски и создания текстовых файлов с описанием: https://github.com/Mozer/comfy_stuff/blob/main/oneTrainer_configs/concat_and_masks_and_prompts.py
Положить файл в папку с вашими переименованными картинками, изменить текстовый промпт внутри и запустить. После этого отредактируйте текстовые описания.
Настройки OneTrainer
- ключевое отличие от обычной тренировки - включить режим тренировки с масками на вкладке тренировка. Остальные настройки довольно стандартные.
- для тренировки нужна именно базовая модель, дистиллят не подойдет. Чтобы скачать всю папку с HF выполните команду:
mkdir FLUX.2-klein-base-9B
cd FLUX.2-klein-base-9B
huggingface-cli download black-forest-labs/FLUX.2-klein-base-9B --local-dir .
Скорость
Тренить будем в новом формате данных int8 (transformer data type int W8A8), он почти в 2 раза быстрее, чем fp8.
На 3090, int8, batch size 1:
768 - 13.0 GB, 2.52 s/it
1280 - 16.0 GB, 9.18 s/it
На 3060 не тестил, но должно влезть, хотя бы в формате nf4. Int8 будет быстрее, чем nf4, но тогда надо пробовать в меньшем разрешении, например в 720 или 512.
Первые результаты можно заметить уже после 1500-2000 шагов, но придется увеличивать силу лоры в комфи. Я обычно тренирую 5000-6000 в разрешении 768, затем ещё 1000-2000 в разрешении 1280. Итого по времени выходит часов 6-8 на лору.
Лору на персонажа/похожесть ещё не пробовал, но собираюсь.
Моя POV hand лора для Klein-9b в режиме редактирования: https://civitai.com/models/2347738
Примеры генерации, слегка nsfw: https://t.me/+UzijD4bV1M8wODEy
Klein-9b в режиме редактирования мне нравится больше, чем qwen-edit за счет большего реализма и меньшей деградации картинки после каждой генерации.
Тренить будем в OneTrainer. В другом софте тоже можно, но полноценную поддержку в некоторые трейнеры еще не везде завезли.
Установка OneTrainer
поддержки klein еще нет в master ветке, поэтому так:
git clone https://github.com/Nerogar/OneTrainer/
cd OneTrainer
git fetch origin pull/1261/head:pr-1261
git switch pr-1261
install.bat
Будем тренить поэтапно в разных разрешениях. 768 - основной этап, 1280 финальный этап. 768 - это довольно мало для двух склеенных картинок, потому нужен второй этап.
Датасет:
Собираем картинки до/после и переименовываем их по шаблону: 1_0.jpg, 1_1.jpg, 2_0.jpg, 2_1.jpg. где _0 - картинка "до", _1 - картинка "после". Расширение файла - любое. Соотношение сторон до-после должно быть одинаковым. Разрешение может быть разным, скрипт их заресайзит, если они разные.
Мой датасет для лоры pov_hand - 30 пар картинок. Картинки частично настоящие, а частично - синтетика (фото с рукой настоящее, фото без руки - генерация в klein).
Для того чтобы был именно режим редактирования картинок (image2image, а не text2image), нужно как-то приложить исходные картинки. В OneTrainer это делается через тренировку с масками (Masked training). Нужно склеить исходную и конечную картинки в одну и приложить дополнительно png файл с маской.
Мой питон скрипт для склейки, создания маски и создания текстовых файлов с описанием: https://github.com/Mozer/comfy_stuff/blob/main/oneTrainer_configs/concat_and_masks_and_prompts.py
Положить файл в папку с вашими переименованными картинками, изменить текстовый промпт внутри и запустить. После этого отредактируйте текстовые описания.
Настройки OneTrainer
- ключевое отличие от обычной тренировки - включить режим тренировки с масками на вкладке тренировка. Остальные настройки довольно стандартные.
- для тренировки нужна именно базовая модель, дистиллят не подойдет. Чтобы скачать всю папку с HF выполните команду:
mkdir FLUX.2-klein-base-9B
cd FLUX.2-klein-base-9B
huggingface-cli download black-forest-labs/FLUX.2-klein-base-9B --local-dir .
Скорость
Тренить будем в новом формате данных int8 (transformer data type int W8A8), он почти в 2 раза быстрее, чем fp8.
На 3090, int8, batch size 1:
768 - 13.0 GB, 2.52 s/it
1280 - 16.0 GB, 9.18 s/it
На 3060 не тестил, но должно влезть, хотя бы в формате nf4. Int8 будет быстрее, чем nf4, но тогда надо пробовать в меньшем разрешении, например в 720 или 512.
Первые результаты можно заметить уже после 1500-2000 шагов, но придется увеличивать силу лоры в комфи. Я обычно тренирую 5000-6000 в разрешении 768, затем ещё 1000-2000 в разрешении 1280. Итого по времени выходит часов 6-8 на лору.
Лору на персонажа/похожесть ещё не пробовал, но собираюсь.
Моя POV hand лора для Klein-9b в режиме редактирования: https://civitai.com/models/2347738
Примеры генерации, слегка nsfw: https://t.me/+UzijD4bV1M8wODEy