Ideogram 4 img2img редактирование через inpaint по SAM2 маске и частичным denoise
- можно точно сохранить лицо при редактировании
- изменить только указанный объект, например лицо, фон или текст на бумажке благодаря маскам
- не надо самому выделять маски, маска задается через простой промпт типа "face,hair" или "background"
- запрос на описание картинки и составление json промпта уходит через любой API, например llama.cpp server или openai\mistral\openrouter
- я для составления json промпта юзаю gemma4-31 которая висит на второй видюхе (2080ti-22GB), можно также юзать qwen.
- clip у меня висит на третьей видюхе (3060), для скорости, но это не обязательно
- скорость выполнения запроса вместе с составлением json промпта - 2 минуты на стэке из трех карт (3090+2080ti+3060). Можно все организовать на одой карте, но тогда промпт будет писать какая-то онлайн LLM по апи. Юзеры писали, что в теории, одной 3060 должно хватить
- без частичного denoise (0.90) результаты были хуже, с ним модель знает в каком месте находится тело персонажа.
- img2img работает с помощью описания исходной картинки в json. Описание делается с помощью моей ноды OpenAI.CaptionImage. На момент написания я не видел похожих нод с поддержкой llama.cpp server, поэтому написал свою.
- не все генерации выходят идеальными, надо точно подбирать нужный denoise. чтобы и исходная картинка не слишком сильно вылазила.
- сильно менять позу персонажа не получится, но легкие движения рук - ног возможны. Изменение стиля всей картинки не получится, маска не даст изменить некоторые области. но можно совсем убрать маску и работать только с img2img (без sam2 и без inpaint), воркфлоу тут же.
мой воркфлоу img2img inpaint+sam2+denoise:
https://github.com/Mozer/comfy_stuff/blob/main/workflows/ideogram4_img2img_sam_with_denoise.json
мой воркфлоу img2img+denoise (без масок sam2):
https://github.com/Mozer/comfy_stuff/blob/main/workflows/ideogram4_img2img_without_sam2.json
int8 nodes
https://github.com/BobJohnson24/ComfyUI-INT8-Fast
int8 models
https://huggingface.co/bertbobson/Ideogram-4-INT8-ConvRot/tree/main
kj prompt builder
https://github.com/kijai/ComfyUI-KJNodes
sam2
https://github.com/neverbiasu/ComfyUI-SAM2
clip to another cuda
https://gist.github.com/city96/30743dfdfe129b331b5676a79c3a8a39
моя нода OpenAI.CaptionImage для llama.cpp server
https://github.com/Mozer/ComfyUI-OpenAI
- можно точно сохранить лицо при редактировании
- изменить только указанный объект, например лицо, фон или текст на бумажке благодаря маскам
- не надо самому выделять маски, маска задается через простой промпт типа "face,hair" или "background"
- запрос на описание картинки и составление json промпта уходит через любой API, например llama.cpp server или openai\mistral\openrouter
- я для составления json промпта юзаю gemma4-31 которая висит на второй видюхе (2080ti-22GB), можно также юзать qwen.
- clip у меня висит на третьей видюхе (3060), для скорости, но это не обязательно
- скорость выполнения запроса вместе с составлением json промпта - 2 минуты на стэке из трех карт (3090+2080ti+3060). Можно все организовать на одой карте, но тогда промпт будет писать какая-то онлайн LLM по апи. Юзеры писали, что в теории, одной 3060 должно хватить
- без частичного denoise (0.90) результаты были хуже, с ним модель знает в каком месте находится тело персонажа.
- img2img работает с помощью описания исходной картинки в json. Описание делается с помощью моей ноды OpenAI.CaptionImage. На момент написания я не видел похожих нод с поддержкой llama.cpp server, поэтому написал свою.
- не все генерации выходят идеальными, надо точно подбирать нужный denoise. чтобы и исходная картинка не слишком сильно вылазила.
- сильно менять позу персонажа не получится, но легкие движения рук - ног возможны. Изменение стиля всей картинки не получится, маска не даст изменить некоторые области. но можно совсем убрать маску и работать только с img2img (без sam2 и без inpaint), воркфлоу тут же.
мой воркфлоу img2img inpaint+sam2+denoise:
https://github.com/Mozer/comfy_stuff/blob/main/workflows/ideogram4_img2img_sam_with_denoise.json
мой воркфлоу img2img+denoise (без масок sam2):
https://github.com/Mozer/comfy_stuff/blob/main/workflows/ideogram4_img2img_without_sam2.json
int8 nodes
https://github.com/BobJohnson24/ComfyUI-INT8-Fast
int8 models
https://huggingface.co/bertbobson/Ideogram-4-INT8-ConvRot/tree/main
kj prompt builder
https://github.com/kijai/ComfyUI-KJNodes
sam2
https://github.com/neverbiasu/ComfyUI-SAM2
clip to another cuda
https://gist.github.com/city96/30743dfdfe129b331b5676a79c3a8a39
моя нода OpenAI.CaptionImage для llama.cpp server
https://github.com/Mozer/ComfyUI-OpenAI