ToonCrafter: Аниматоры напряглись, аниме-любители радуютсяПока мы ждем сору, вот вам ToonCrafter — прикольная модель для тех, кто делает двигающиеся картинки в стиле аниме.
Я уже вижу, как китайские аниме-студии сразу сокращают количество кадров. Собственно для этого она и создавалась в соавторах Tencent AI Lab.
Есть три режима:
- межкадровая интерполяция. Модель дорисует кадры между двумя key frames. Причем не просто линейным поступательным движением, как это сделано в других работах по интерполяции видео, а полноценная анимация.
- интерполяция, но на башне скетчей. Когда цвета нет.
- окрашивание. Перед тем как анимешку сделают цветной, сначала делают полноценный анимированный эскиз в чб. Вот его теперь будут красить автоматически.
Непонятно, насколько мощный черипик в примерах. Выглядит ну как-то уж слишком хорошо. Хоть здесь и используются для каких-то более сложных вещей эскизы как референсы.
У них, оказывается, уже есть демо. Сгенерил простенькую кошечку — работает офигенно, хоть и две секунды и разрешение шакальное.
Как этого достигли?1. Хитро зафайнтюнили
DynamiCrafter на аниме видосах. Там есть своя специфика, ведь в мультиках много регионов без текстур, и нет motion блура, как в реальных видео.
2. Натренировали специальный 3D декодер, который берет на вход кроме latent векторов фреймов, ещё и дополнительно исходные первый и последний кадры, чтобы сохранить точную информацию о внешности объектов.
Project Page с примерами. Рекомендую глянуть.
ПейперКод на гитхабеДемо на обнимающем лице@ai_newz
