дAI потестить!

Раз уж появилась тенденция делать контент при помощи LLM без участия кожаного, вот вам несколько интересных репо, которые сам использую:

Hypit берёт готовый вирусный ролик и позволяет AI пересобрать его - поменять героя, текст, B-roll и сделать десятки вариантов.
Короче конвейер по клонированию успешных TikTok.

Brag берёт твой готовый проект и автоматически делает из него короткое презентационное видео с музыкой и текстом.
То есть сделал стартап теперь AI поможет похвастаться им. Использует HyperFrames

HyperFrames позволяет создавать видео через HTML/CSS/JS и рендерить это в MP4.
Если не умеешь моушен в After Effects то сойдет на первое время.

OpenMontage целая AI-система для видеопроизводства: сценарий, раскадровка, генерация, монтаж, звук и финальный рендер.
Короче, попытка засунуть видеопродакшен в один репозиторий. Я о нем писал тут

Drama Skills набор skills для Codex/Claude, который ведёт от идеи или книги до сценария, персонажей, раскадровки, промптов и готовой серии.
Теперь Сиси Кэпвл наконец то сможет выйти из комы.

Nine Grid Storyboard превращает идею или референс в 3×3 раскадровку и сразу пишет подробный prompt для image-to-video.
Так то уже классика в производстве.

Hand-drawn Canvas Animation делает рисованную анимацию через JavaScript + Canvas.
Если как у меня, домашние путают ваши рисунки с рисунками детей, то этот репо прям зайдет.

Procedural Film AI skill, который создаёт короткие вертикальные фильмы целиком через JavaScript и Canvas, включая графику и звук.

P.S. Вопрос один, где столько токенов взять?

Чет у меня была каша в голове, и я решил разобраться. ID-V2V и SCAIL-2. Обе на Wan 2.1, обе про "перенеси человека", в чем отличия?

Дал им вертикальное видео с парнем на пустыре и его же фото в Дубае (красиво жить не запретишь).

ID-V2V перекрасить (релайтнуть) снятое. Движение берёт из видео, сцену с картинки. Аналог - SwitchX.

SCAIL-2 оживить фото. Персонажа и фон берёт с картинки, движение с видео. Аналог - Viggle и Runway Act-Two.

Звучит похоже, но ниче не понятно, пока не посмотришь на фон.

У ID-V2V он "уползает". Начинается Дубай, а к концу ролика приезжают кусты и какая-то парковая дорожка (с исходника). Он фон рисует заново каждый кадр, вот его и уводит. У SCAIL-2 Бурдж-Халифа как стояла, так и стоит - он фон не выдумывает, а берёт с картинки.

Вот это и оказалось главной разницей.

По времени на 4080S, 121 кадр:
ID-V2V — 9:37
SCAIL-2 — 38:03

Но это сравнение ну такое: под ID-V2V есть дистилл-лора на 10 шагов, а SCAIL я гонял на честных 20 с cfg. Найдёте дистилл под SCAIL - пишите в комментах.

Отдельно: ID-V2V в ComfyUI грузится наполовину. Модель гибридная, ComfyUI видит в ней VACE и дальше не разбирается - выбрасывает 368 тензоров. Ровно те, что отвечают за лицо. Ошибок нет, в консоли тишина, всё «работает».

Фикс есть (PR #15139) но пока до комфи не доехал.Поэтому я завернул все в надежный и качественный костыль 😊😊😊 - в пак для custom_nodes, лежит в комментариях, там же и инструкция. SCAIL-2 работает сразу, чинить нечего.

Что брать:
- сохранить снятое, поменять свет и обстановку → ID-V2V
- оживить готовый кадр или подменить человека → SCAIL-2

720p ни один на 16 гигах не потянул.

'https://t.me/dAIpotestit/726?comment=55946' rel='nofollow'>Воркфлоу обоих и пак с фиксом - в комментариях, внутри ссылки на модели.

P.S. Заодно нашёл у себя в лаунчере --disable-async-offload. Он рубит встроенный block prefetch - то, что как раз и спасает, когда модель не влезла в карту. Убрал, стало на 17% быстрее везде.

Чиним русские фразы Seedance при помощи костылей и изоленты

Проблема всем известна, Seedance очень плох в русский.
Нашел временное решение, если переводить через сайт rask.ai на русский язык, он часто исправляет язык в лучшую сторону, а если не исправил, можно в редакторе проставить слова ручками.

Из плохого - на фри тарифа 3 перевода (решаем мультиакком) и есть огромная ватермарка. Но я немного повайбкодил, и сделал экстеншн для хром который позволит скачать без нее.

P.S. Звездочки на пост или репо приветствуются.

P.S.S. а Ты милисерд?

Композим/клинапим видео при помощи Astra.

Всем же интересно на что способна Astra.
Вот и я взял видео, разложил на секвенцию при помощи скрипта и попросил перевести интерфейс телефона на русский язык.

Если нужен п'https://t.me/dAIpotestit/715?comment=55001' rel='nofollow'>ромпт тут.

P.S. Видео короткое ибо токены😊😊