Репост из: Метаверсище и ИИще
1. Как всё началось и откуда взялась эта идея?
Макс Фадеев: Всё началось с вопроса: а что если создать клип, где нет ни одного реального человека? Я давно мечтал отойти от работы с реальными артистами. Именно поэтому когда-то придумал Глюк'oZу: достаточно выключить тумблер, и анимационный персонаж никогда не позвонит и ничего не потребует. В начале нулевых мы тратили на клипы этого проекта десятки тысяч долларов и месяцы работы, страшно вспомнить. Притом что это были имиджевые траты - видеоконтент ничего не приносил.
В случае с -иди на мой голос- мы собрались с ребятами из российских и белорусских ИИ-кластеров, которые занимаются созданием генеративного видео и сделали что-то своё включая уникальные нейросети, чтобы всё выглядело не как у всех. Я познакомился с ними после выхода клипа SEREBRO -Song#2- в конце прошлого года, где мы (кажется) первыми в России использовали нейросети в музыкальном видео - тогда это был в основном Kling 1.5, пару кадров делали в Runway Gen-3. Тогда нам пришло много писем от компаний с предложением поработать вместе над музыкальными видео.
В этот раз мы поставили цель - уложиться в две недели. Когда я сказал команде, все думали, что я шучу. Но мы загорелись - и вот результат. Клипы сейчас либо дешёвые и с вайбом, либо дорогие и скучные. А мы, кажется, сделали что-то совсем новое: 70% — это ИИ, включая наши фишки, и 30% - магия художников.
2. Какие технологии использовали?
МФ: Я не технарь, так что без заумностей. Мы взяли передовые ИИ-инструменты для генерации видео - те, что сейчас на слуху, чтобы сделать 70% работы. Но просто взять готовое - не наш путь. Мы с нашей командой и партнёрами из России и Беларуси создали свои нейросети, чтобы добавить уникальности: доработать мимику, движения, текстуры - всё, чтобы персонажи были как мы. Загрузили кучу наших фото и видео, описали, что хотим, - и ИИ нарисовал целый мир. Окружение, движения - всё это мы прогоняли через наши кастомные алгоритмы, чтобы было живее, чем обычно. Потом художники подчищали 30% работы вручную - без всяких 3D-программ. Никаких рендеринговых движков, только наши нейросети и ручная доводка.
3. Сразу всё получилось или пришлось помучиться?
МФ: Если бы сразу… Первые версии персонажей были не очень: мимика не совпадала, глаза как у роботов. Мы почти неделю возились: дообучали нейросети, подправляли вручную. Но некоторые косяки мы решили оставить, чтобы сделать клип живым, с ИИ-душой. В итоге персонажи стали выглядеть как настоящие, идентичные реальным людям.
4. Какие были сложности? Что удивило?
МФ:Самое сложное - это заставить ИИ "поймать" настроение лабиринта, чтобы он выглядел не просто как рандомный набор стен, а как живой, давящий мир. Наши нейросети, которые мы создали с ребятами, иногда выдавали слишком "плоские" текстуры - будто из компьютерной игры. Приходилось дообучать их на наших эскизах и фото, чтобы кафель и бетон дышали драмой. А что удивило? Как креатор, я каждый день поражаюсь тому, как работает ИИ - это как новый инструмент в музыке, который постоянно открывает что-то неожиданное. Но когда я узнал, что мы можем создать свою модель с закрытым кодом, это перевернуло моё представление о возможностях. Это как получить в руки бесконечную палитру для творчества. Я до сих пор осмысливаю, какие огромные горизонты это открывает для создания чего-то нового.
5. Расскажите какой-нибудь кейс из работы над клипом
МФ: Был момент, когда мы чуть не попали с цифровым двойником Мины - нашей героини, чей прототип, корейская актриса, уже улетела обратно в Сеул. Ее мы создавали самой первой и в спешке. Мы снимали с ней много материала для ИИ, чтобы её копия в клипе была как живая, с её эмоциями и харизмой. Но в разгар работы поняли: данных не хватает, особенно для её выразительной мимики в ключевых моментах. Пришлось думать, как выкрутиться. Мы звонили ей и просили записать на телефон несколько дополнительных фото и видео с разными эмоциями, она за ночь прислала нам много материала, который сделала как могла. К счастью, в итоге все получилось.
Макс Фадеев: Всё началось с вопроса: а что если создать клип, где нет ни одного реального человека? Я давно мечтал отойти от работы с реальными артистами. Именно поэтому когда-то придумал Глюк'oZу: достаточно выключить тумблер, и анимационный персонаж никогда не позвонит и ничего не потребует. В начале нулевых мы тратили на клипы этого проекта десятки тысяч долларов и месяцы работы, страшно вспомнить. Притом что это были имиджевые траты - видеоконтент ничего не приносил.
В случае с -иди на мой голос- мы собрались с ребятами из российских и белорусских ИИ-кластеров, которые занимаются созданием генеративного видео и сделали что-то своё включая уникальные нейросети, чтобы всё выглядело не как у всех. Я познакомился с ними после выхода клипа SEREBRO -Song#2- в конце прошлого года, где мы (кажется) первыми в России использовали нейросети в музыкальном видео - тогда это был в основном Kling 1.5, пару кадров делали в Runway Gen-3. Тогда нам пришло много писем от компаний с предложением поработать вместе над музыкальными видео.
В этот раз мы поставили цель - уложиться в две недели. Когда я сказал команде, все думали, что я шучу. Но мы загорелись - и вот результат. Клипы сейчас либо дешёвые и с вайбом, либо дорогие и скучные. А мы, кажется, сделали что-то совсем новое: 70% — это ИИ, включая наши фишки, и 30% - магия художников.
2. Какие технологии использовали?
МФ: Я не технарь, так что без заумностей. Мы взяли передовые ИИ-инструменты для генерации видео - те, что сейчас на слуху, чтобы сделать 70% работы. Но просто взять готовое - не наш путь. Мы с нашей командой и партнёрами из России и Беларуси создали свои нейросети, чтобы добавить уникальности: доработать мимику, движения, текстуры - всё, чтобы персонажи были как мы. Загрузили кучу наших фото и видео, описали, что хотим, - и ИИ нарисовал целый мир. Окружение, движения - всё это мы прогоняли через наши кастомные алгоритмы, чтобы было живее, чем обычно. Потом художники подчищали 30% работы вручную - без всяких 3D-программ. Никаких рендеринговых движков, только наши нейросети и ручная доводка.
3. Сразу всё получилось или пришлось помучиться?
МФ: Если бы сразу… Первые версии персонажей были не очень: мимика не совпадала, глаза как у роботов. Мы почти неделю возились: дообучали нейросети, подправляли вручную. Но некоторые косяки мы решили оставить, чтобы сделать клип живым, с ИИ-душой. В итоге персонажи стали выглядеть как настоящие, идентичные реальным людям.
4. Какие были сложности? Что удивило?
МФ:Самое сложное - это заставить ИИ "поймать" настроение лабиринта, чтобы он выглядел не просто как рандомный набор стен, а как живой, давящий мир. Наши нейросети, которые мы создали с ребятами, иногда выдавали слишком "плоские" текстуры - будто из компьютерной игры. Приходилось дообучать их на наших эскизах и фото, чтобы кафель и бетон дышали драмой. А что удивило? Как креатор, я каждый день поражаюсь тому, как работает ИИ - это как новый инструмент в музыке, который постоянно открывает что-то неожиданное. Но когда я узнал, что мы можем создать свою модель с закрытым кодом, это перевернуло моё представление о возможностях. Это как получить в руки бесконечную палитру для творчества. Я до сих пор осмысливаю, какие огромные горизонты это открывает для создания чего-то нового.
5. Расскажите какой-нибудь кейс из работы над клипом
МФ: Был момент, когда мы чуть не попали с цифровым двойником Мины - нашей героини, чей прототип, корейская актриса, уже улетела обратно в Сеул. Ее мы создавали самой первой и в спешке. Мы снимали с ней много материала для ИИ, чтобы её копия в клипе была как живая, с её эмоциями и харизмой. Но в разгар работы поняли: данных не хватает, особенно для её выразительной мимики в ключевых моментах. Пришлось думать, как выкрутиться. Мы звонили ей и просили записать на телефон несколько дополнительных фото и видео с разными эмоциями, она за ночь прислала нам много материала, который сделала как могла. К счастью, в итоге все получилось.