Картинки от нейросети: создание и ресерч (часть 2)

Как оно выглядит и на что смотреть конкретно мы разобрались в этом посте. Теперь пришла пора объяснить вам.. как создать.

В данном посте я разбираю исключительно генерацию локально на вашем ПК. Если вы яблочник, ресерчите сами, че как с оптимизацией под М1+. Вроде все работает, но нужна оптимизация под mps вместо cuda.

Из-за лимитом символов: разберем установку и работу с промптами. Все опции лежат в части 3.

Начнем с жестких требований

Видеокарта с 4 ГБ минимум
Оперативки минимум 16 ГБ

Моя сборка ниже.
У меня не все AI модели работают, остановился я на NoobAI NAIXL, которая у меня изредко вылетает из-за нехватки памяти. При том, работает она только при запуске с флагами оптимизации.

AMD Ryzen 5 5600
NVIDIA GeForce RTX 4060
32 гб оперативки и Linux Manjaro

Затраты ресурсов зависят от модели и разрешения изображения. Чем оно ниже, тем не просто хуже картинка, но и нейросети сложнее следовать промпту. 512x512 без апскейлинга выдает сюрреализм.

Я обычно ставлю 1024 на 840 или подобное, а затем апскейлю в 1.5-2 раза.

Если в фоне открыт Ютуб, какой-то софт и стим = мощности немного не хватает. Если все закрыть, там стабильно создаются картинки за 30-50 сек.

Как это установить?

1. Идем в гитхаб
2. Ставим по инструкции на свою ОС
3. Идем на сайт по теме (тут все для нейронки)

Скачиваем нужную модель по выбору, докачиваем под нее нужные LoRA. У вас должна быть папка stable-diffusion-webui, в ней ищем необходимое.

Вам нужны файлы формата safetensors, это современный безопасный формат для файлов. Имейте ввиду, устаревшие форматы могут быть опасны, вдруг нарветесь.

Кидать в эти папки:
- models > Stable-diffusion > "ваша_модель", в моем случае noobaiXLNAIXL
- extensions > sd-webui-additionl-networks > models > lora

Ззапускаем файл "webui" с флагами medvram и xformers, запуск можете уточнить под вашу ОС в гугле/у ИИ. Там под каждую систему лежат .sh, .py и .bat файлы.

У меня на линукс это команда ./webui.sh --medvram --xformers. Это оптимизирует генерацию, у меня без этого не работает NoobAI на моей сборке.

Как этим говном пользоваться?

Перечислю все строчки, которые вам нужны. Расскажу какие значения можно поставить, какие галочки тыкнуть.

После запуска у вас откроется локальный сайт по адресу http://127.0.0.1:7860/, поехали!

Promt и Negative promt это основа всего.

Базовый промт это именно описание того, что вы хотите видеть. Записывается он так:

high detailing, realistic lighting, quality skin texture, quality hair texture, quality clothing texture. То есть ключевые слова через запятую.

Если нужно заставить нейросеть что-то использовать активнее или менее активно — меняем вес.

high detailing, (realistic lighting:1.2), quality skin texture, (quality hair texture:0.8), quality clothing texture

Негативный промпт это наоборот указание того, что вы видеть не хотите. Зачастую тут один шаблон с самыми очевидными словами:

low quality, blurry, distorted, extra limbs, missing limbs, deformed, ugly, low resolution, pixelated, text, watermark, logo, artifacts, overexposed, underexposed, noise, grainy, out of focus, bad anatomy, extra fingers, fewer fingers, mutated hands, poorly drawn face

Лучший способ писать промпты

1. Переводить слова через Deepl
2. Уточнять слова для промпта у AI (например, Grok). Когда вам нужен какой-то конкретный ракурс, сложная поза
3. Сверятся с триггер словами у LoRA моделей, чтобы все работало так, как вы ожидаете.

4. Разбивать слова по логическим блокам, вроде как лучше всего: стиль/качество, персонаж, поза, окружение, рюшечки
5. Если вы хотите какой-то реализм, высокое качество и etc — прописывайте их: highly detailed, intricate details и так далее

Ну и всегда можно поглядеть

Смотрите картинки на Civitai, спрашивайте у нейросетей и уточняйте у брадков. Я конечно не знаю локальных комьюнити фанатов такого. Но может под моими постами найдутся, кого затянет эдакое хобби.

К слову, там есть вкладка PNG info, я туда гружу свои старые арты и вытаскиваю промпты, хозяйке на заметку.