Bytedance: представили ATI (Any Trajectory Instruction), метод для контроля траектории камеры и пришили его к Wan 2.1.

Фреймворк использует гауссианный инжектор движания для внедрения направляющих сигналов прямо в латентное пространство натренированной I2V модели.

Работает как с людьми так и животными на картинках любого стиля. Контролировать можно более, чем одного персонажа и сочетать движения камеры. Есть интерактивный визуальный редактор для управления камерой и траекторией объектов.

Работает не идеально, в сильно динамичных сценах объект может начать выделяться от остального кадра. Тем не менее ATI может стать хорошим дополнением к VACE.

Для Wan есть только 14B версия ATI. Поэтому лучше иметь 24ГБ VRAM, чтобы гонять. Альтернативно на сайте проекта есть примеры ATI для Seaweed 7B, которая потенциально менее требовательна, но модель пока не видно.

Kijai уже наваял fp16 и fp8 веса, обновил ноды, и воркфлоу в Comfy.

PS: вижу ATI подсознательно читаю Radeon.

Сайт
Гитхаб
Хаггинг (Kijai)
Comfy ноды (Kijai)
Воркфлоу (Kijai)