Делаем нейронный мэтч цветов дома - без интернета, регистрации и смс
Собрал 'https://t.me/dAIpotestit/697?comment=46326' rel='nofollow'>портативку, которая мэтчит по цвету референсный кадр с шотом. Может пригодиться там, где автоматом не справляются Adobe Premiere и DaVinci Resolve.
Дальше идут техподробности, можно не читать.
Замечали, что модельки вообще не сильно дружат с цветом?
Генеришь видео по первому кадру - цвет плывёт. Генеришь видео со склейками - от шота к шоту цвет плывёт. Делаешь стилы - нет-нет да и не уследишь.
И потом на монтаже начинаются приключения: в Premiere автомэтч не помогает, а сторонние решения в среднем пытаются поправить картинку. Но «в среднем» - оно и есть в среднем. То цвет одежды уйдёт, хотя это фирменный цвет бренда, то цвет логотипа. Короче беда.
Поэтому решил найти себе помощника в опенсорсе.
Перебрал много вариантов, но большинство работает по принципу «ну в среднем похоже».
И наконец нашёл ColorFM.
Как я понял, эта штуковина отдельно сегментирует небо, траву, дорогу и прочие объекты, а потом мэтчит картинку уже с пониманием, что именно и куда переносить. Цвет с неба - на небо, с дороги - на дорогу. В онлайне можно поиграть тут.
Звучит круто, но код автор в репо не положил.
Поэтому я взял Claude подмышку, восстановил код по бумаге и написал нормальный интерфейс. Потому что Gradio - фу.
В процессе тестов выяснилось, что ColorFM отлично работает со всем, кроме людей. Сегментатор определяет человека целиком - вместе с кожей и одеждой - поэтому кожа иногда получается странного оттенка.
Пришлось дополнительно воткнуть Sapiens2, который отдельно работает с кожей.
Ну а поскольку ColorFM умел работать только с картинками, я воткнул туда ещё и видео:
- сначала видео делится на шоты;
- красится один кадр каждого шота;
- по нему строится LUT;
- LUT применяется к остальным кадрам.
Плюс всё это можно прогонять батчем.
Короче, получился такой домашний агрегат весом в 6 ГБ. Зато без интернета, без регистрации и без попытки продать тебе годовую подписку на перенос синего неба в синее небо.
P.S. Видео:
1 - правильно покрашенное видео
2 - неправильно покрашенное видео
3 - перекрашенное видео
P.S.S. Жду реакций, я спать, 'https://t.me/dAIpotestit/697?comment=46326' rel='nofollow'>сборка в комментариях
Собрал 'https://t.me/dAIpotestit/697?comment=46326' rel='nofollow'>портативку, которая мэтчит по цвету референсный кадр с шотом. Может пригодиться там, где автоматом не справляются Adobe Premiere и DaVinci Resolve.
Дальше идут техподробности, можно не читать.
Замечали, что модельки вообще не сильно дружат с цветом?
Генеришь видео по первому кадру - цвет плывёт. Генеришь видео со склейками - от шота к шоту цвет плывёт. Делаешь стилы - нет-нет да и не уследишь.
И потом на монтаже начинаются приключения: в Premiere автомэтч не помогает, а сторонние решения в среднем пытаются поправить картинку. Но «в среднем» - оно и есть в среднем. То цвет одежды уйдёт, хотя это фирменный цвет бренда, то цвет логотипа. Короче беда.
Поэтому решил найти себе помощника в опенсорсе.
Перебрал много вариантов, но большинство работает по принципу «ну в среднем похоже».
И наконец нашёл ColorFM.
Как я понял, эта штуковина отдельно сегментирует небо, траву, дорогу и прочие объекты, а потом мэтчит картинку уже с пониманием, что именно и куда переносить. Цвет с неба - на небо, с дороги - на дорогу. В онлайне можно поиграть тут.
Звучит круто, но код автор в репо не положил.
Поэтому я взял Claude подмышку, восстановил код по бумаге и написал нормальный интерфейс. Потому что Gradio - фу.
В процессе тестов выяснилось, что ColorFM отлично работает со всем, кроме людей. Сегментатор определяет человека целиком - вместе с кожей и одеждой - поэтому кожа иногда получается странного оттенка.
Пришлось дополнительно воткнуть Sapiens2, который отдельно работает с кожей.
Ну а поскольку ColorFM умел работать только с картинками, я воткнул туда ещё и видео:
- сначала видео делится на шоты;
- красится один кадр каждого шота;
- по нему строится LUT;
- LUT применяется к остальным кадрам.
Плюс всё это можно прогонять батчем.
Короче, получился такой домашний агрегат весом в 6 ГБ. Зато без интернета, без регистрации и без попытки продать тебе годовую подписку на перенос синего неба в синее небо.
P.S. Видео:
1 - правильно покрашенное видео
2 - неправильно покрашенное видео
3 - перекрашенное видео
P.S.S. Жду реакций, я спать, 'https://t.me/dAIpotestit/697?comment=46326' rel='nofollow'>сборка в комментариях