# screen2edit
Навайбкодил скрипт, который по горячей клавише делает скриншот любого активного окна и отправляет в comfy+klein-9b API. Отображает картинку в соседнем окне.
Работает очень быстро - за 7 секунд (чекпоинт klein-9b-int8) на 3090
## Примеры промптов:
1. Улучшение графики в визуальных новеллах или других пошаговых играх: Turn this into a photo, soft dim lighting. Add film grain, bokeh, shallow depth of field, retro photo, soft focus, low contrast. Add blur, motion blur. face swap woman with Emm4w woman, dark brown lose hair.
2. Колоризация манги в браузере: Colorize manga. Woman has light pink jacket with white shirt and with a red ribbon, white high socks and dark brown hair. Man has grey jacket and short black hair
3. Замена персонажа: face swap woman with Emm4w woman, lose brown hair (нужна лора или вторая приложенная картинка с лицом)
4. Замена одежды: now she is wearing bikini
5. Фото в аниме: change style to Ghibli studio style
## Установка screen2edit
Код: https://github.com/Mozer/screen2edit
git clone https://github.com/Mozer/screen2edit
cd screen2edit
pip install -r requirements.txt
внутри screen2edit.py отредактируйте свои пути до комфи
SAVE_PATH = r'C:\DATA\SD\ComfyUI_windows_portable_nvidia\ComfyUI_windows_portable\ComfyUI\input\screenshot.jpg'
PROMPT_URL = 'http://127.0.0.1:8188/prompt'
HISTORY_URL = 'http://127.0.0.1:8188/history?max_items=64'
VIEW_URL_BASE = 'http://127.0.0.1:8188/view'
CROP_TOP = 50 #REMOVE PX FROM TOP
CROP_BOTTOM = 10 #REMOVE PX FROM BOTTOM
CROP_LEFT = 10 #REMOVE PX FROM LEFT
CROP_RIGHT = 10 #REMOVE PX FROM RIGHT
- импортируйте workflow/workflow.json в комфи (он для fp8). Либо workflow_klein_9b_int8.json
- проверьте работоспособность внутри комфи
- comfy - File - Export (API) - положить туда же workflow/workflow.json
## Запуск screen2edit
- дабл клик по screen2edit.py
- открыть нужное окно с игрой или браузером, нажать Alt+x для того чтобы сделать скрин и отправить его в комфи (Полноэкранный режим со сложными 3D играми на unity или directx я не тестил. хз, будет ли скриншоты делать. С играми в windowed режиме проблем быть не должно)
- окошко с готовой картинкой появится само через какое-то время.
## Ускорение инференса (INT8 модель, опционально)
Для ускорения работы klein-9b рекомендую использовать int8 версию. На 3000 серии она в 2 раза быстрее, чем fp8 и раза в 3-4 быстрее чем gguf. На 4000 серии прирост тоже есть, но не такой большой.
1024x1024, 4 steps, at 3090:
text2image int8 - 3.31 seconds
image2image int8 - 6.41 seconds
image2image fp8 - 12.84 seconds
Прирост достигается за счет использования int8 cuda ядер. Применимо для 3000 серии и новее. На 4000 серии прирост относительно fp8 тоже есть, но не такой большой.
Опционально нужен: triton-windows (будет еще чуть быстрее, но и без него буст. У меня нода model compile не завелась, возможно, нужен torch/cuda посвежее. У меня torch2.6.0+cu126)
Нужен comfy-kitchen:
C:\DATA\SD\ComfyUI_windows_portable_nvidia\ComfyUI_windows_portable\python_embeded>python.exe -m pip install comfy-kitchen
Установка ноды через manager - install via git url
https://github.com/BobJohnson24/ComfyUI-Flux2-INT8
int8 модель (положить в diffusion_models): https://huggingface.co/bertbobson/FLUX.2-klein-9B-INT8-Comfy/blob/main/flux-2-klein-schnell-9b-INT8V2.safetensors
Для загрузки лор нужна нода 'Load Diffusion Model INT8 (W8A8)', она есть внутри. С некоторыми лорами могут быть проблемы. С моими лорами из onetrainer проблем нет.
## Примечания:
- если мелкий текст плохо читается - уберите лоры, увеличьте кроп скриншота сверху и по бокам. Увеличение разрешения выходной картинки помогает, но не всегда. Оптимально 1.1 - 1.2 Mpx.
- моя лора на некую Эмму: https://huggingface.co/tensorbanana/Emm4w_lora_klein_9b
Навайбкодил скрипт, который по горячей клавише делает скриншот любого активного окна и отправляет в comfy+klein-9b API. Отображает картинку в соседнем окне.
Работает очень быстро - за 7 секунд (чекпоинт klein-9b-int8) на 3090
## Примеры промптов:
1. Улучшение графики в визуальных новеллах или других пошаговых играх: Turn this into a photo, soft dim lighting. Add film grain, bokeh, shallow depth of field, retro photo, soft focus, low contrast. Add blur, motion blur. face swap woman with Emm4w woman, dark brown lose hair.
2. Колоризация манги в браузере: Colorize manga. Woman has light pink jacket with white shirt and with a red ribbon, white high socks and dark brown hair. Man has grey jacket and short black hair
3. Замена персонажа: face swap woman with Emm4w woman, lose brown hair (нужна лора или вторая приложенная картинка с лицом)
4. Замена одежды: now she is wearing bikini
5. Фото в аниме: change style to Ghibli studio style
## Установка screen2edit
Код: https://github.com/Mozer/screen2edit
git clone https://github.com/Mozer/screen2edit
cd screen2edit
pip install -r requirements.txt
внутри screen2edit.py отредактируйте свои пути до комфи
SAVE_PATH = r'C:\DATA\SD\ComfyUI_windows_portable_nvidia\ComfyUI_windows_portable\ComfyUI\input\screenshot.jpg'
PROMPT_URL = 'http://127.0.0.1:8188/prompt'
HISTORY_URL = 'http://127.0.0.1:8188/history?max_items=64'
VIEW_URL_BASE = 'http://127.0.0.1:8188/view'
CROP_TOP = 50 #REMOVE PX FROM TOP
CROP_BOTTOM = 10 #REMOVE PX FROM BOTTOM
CROP_LEFT = 10 #REMOVE PX FROM LEFT
CROP_RIGHT = 10 #REMOVE PX FROM RIGHT
- импортируйте workflow/workflow.json в комфи (он для fp8). Либо workflow_klein_9b_int8.json
- проверьте работоспособность внутри комфи
- comfy - File - Export (API) - положить туда же workflow/workflow.json
## Запуск screen2edit
- дабл клик по screen2edit.py
- открыть нужное окно с игрой или браузером, нажать Alt+x для того чтобы сделать скрин и отправить его в комфи (Полноэкранный режим со сложными 3D играми на unity или directx я не тестил. хз, будет ли скриншоты делать. С играми в windowed режиме проблем быть не должно)
- окошко с готовой картинкой появится само через какое-то время.
## Ускорение инференса (INT8 модель, опционально)
Для ускорения работы klein-9b рекомендую использовать int8 версию. На 3000 серии она в 2 раза быстрее, чем fp8 и раза в 3-4 быстрее чем gguf. На 4000 серии прирост тоже есть, но не такой большой.
1024x1024, 4 steps, at 3090:
text2image int8 - 3.31 seconds
image2image int8 - 6.41 seconds
image2image fp8 - 12.84 seconds
Прирост достигается за счет использования int8 cuda ядер. Применимо для 3000 серии и новее. На 4000 серии прирост относительно fp8 тоже есть, но не такой большой.
Опционально нужен: triton-windows (будет еще чуть быстрее, но и без него буст. У меня нода model compile не завелась, возможно, нужен torch/cuda посвежее. У меня torch2.6.0+cu126)
Нужен comfy-kitchen:
C:\DATA\SD\ComfyUI_windows_portable_nvidia\ComfyUI_windows_portable\python_embeded>python.exe -m pip install comfy-kitchen
Установка ноды через manager - install via git url
https://github.com/BobJohnson24/ComfyUI-Flux2-INT8
int8 модель (положить в diffusion_models): https://huggingface.co/bertbobson/FLUX.2-klein-9B-INT8-Comfy/blob/main/flux-2-klein-schnell-9b-INT8V2.safetensors
Для загрузки лор нужна нода 'Load Diffusion Model INT8 (W8A8)', она есть внутри. С некоторыми лорами могут быть проблемы. С моими лорами из onetrainer проблем нет.
## Примечания:
- если мелкий текст плохо читается - уберите лоры, увеличьте кроп скриншота сверху и по бокам. Увеличение разрешения выходной картинки помогает, но не всегда. Оптимально 1.1 - 1.2 Mpx.
- моя лора на некую Эмму: https://huggingface.co/tensorbanana/Emm4w_lora_klein_9b