Репост из: Почему Полторашка?
🪐 Интервью с AI artist'ом
Часть 1
Недавно мы писали, что уже несколько крупных проектов воплотили в жизнь с помощью неройнок, а как это происходило, узнаем у Лины. В проектах Полторашки она отвечает за визуальную магию, рождающуюся на стыке нейросетей, видео и воображения.
⏺️ Какие инструменты ты использовала в работе над нашими проектами? Как выглядел пайплайн?
Использовала все самые актуальные image- и video-модели. Midjourney и Flux для базовых изображений, для апскейла — Topaz и Magnific, а для анимации — Kling, Higgsfield, Hailuo AI, пробовали Veo. Нано Бананы тогда ещё не было, хотя она бы сильно помогла.
Бывало, что прямо в процессе работы прилетало обновление нейросети, и после тестов мы понимали, что нужно срочно переезжать на новую версию, потому что у неё движения реалистичнее.
В одном из проектов было важно добиться максимально естественных лиц. Поэтому после тестов всех моделей остановились на Veo.
⏺️ Сколько обычно уходит времени на создание одной сцены?
Зависит от сложности. Если просто люди позируют, как было у нас в проектах, я делала очень быстро. На 1 кадр уходило в районе 15 минут. А вот у меня был кейс для Сибирской Коллекции, там нужен был десятисекундный сюжетный ролик одним кадром. Чтобы все сошлось, мы с продюсером потратили в общей сложности целую рабочую неделю.
⏺️ То есть даже за время работы над одним проектом технологии сильно скакнули вперёд. Что ты думаешь о будущем AI-сферы? Куда ей ещё развиваться?
Крупные компании соревнуются друг с другом и пытаются привлечь внимание разными стратегиями. Кто-то затачивает модель под создание нейрослопа (например Sora 2, с виральными, но мусорным роликами), Google же идет в противовес Sora и старается делать продукт для профессионалов. Есть и китайские модели, которые в некоторых задачах превосходят американские.
В целом, нейросети растут циклами, примерно раз в восемь месяцев, и крупные игроки стараются не отставать друг от друга. Я думаю, так будет продолжаться еще минимум года 3, так как возможностей для улучшения очень много: повышение качества датасета, улучшение архитектуры трансформера.
Ну, и проблем пока что хватает. На средних и дальних планах стабильность картинки всё ещё ниже среднего. Я сейчас генерирую много еды и, например, чтобы красиво разрезать бургер, это надо душу кому-то продать — на месте среза просто каша. А для клиента же важна правильная послойность продуктов, и задача превращается в нереальную. Лица в видео тоже пока нестабильны, но если сравнить с прошлым годом — прогресс огромный.
————————————
Интервью пришлось поделить на 2 части, потому что оно получилось огромным, и ТГ не дает выложить его единым постом. Ставьте банан, если ждёте 2 часть! 🍌
Часть 1
Недавно мы писали, что уже несколько крупных проектов воплотили в жизнь с помощью неройнок, а как это происходило, узнаем у Лины. В проектах Полторашки она отвечает за визуальную магию, рождающуюся на стыке нейросетей, видео и воображения.
⏺️ Какие инструменты ты использовала в работе над нашими проектами? Как выглядел пайплайн?
Использовала все самые актуальные image- и video-модели. Midjourney и Flux для базовых изображений, для апскейла — Topaz и Magnific, а для анимации — Kling, Higgsfield, Hailuo AI, пробовали Veo. Нано Бананы тогда ещё не было, хотя она бы сильно помогла.
Бывало, что прямо в процессе работы прилетало обновление нейросети, и после тестов мы понимали, что нужно срочно переезжать на новую версию, потому что у неё движения реалистичнее.
В одном из проектов было важно добиться максимально естественных лиц. Поэтому после тестов всех моделей остановились на Veo.
⏺️ Сколько обычно уходит времени на создание одной сцены?
Зависит от сложности. Если просто люди позируют, как было у нас в проектах, я делала очень быстро. На 1 кадр уходило в районе 15 минут. А вот у меня был кейс для Сибирской Коллекции, там нужен был десятисекундный сюжетный ролик одним кадром. Чтобы все сошлось, мы с продюсером потратили в общей сложности целую рабочую неделю.
⏺️ То есть даже за время работы над одним проектом технологии сильно скакнули вперёд. Что ты думаешь о будущем AI-сферы? Куда ей ещё развиваться?
Крупные компании соревнуются друг с другом и пытаются привлечь внимание разными стратегиями. Кто-то затачивает модель под создание нейрослопа (например Sora 2, с виральными, но мусорным роликами), Google же идет в противовес Sora и старается делать продукт для профессионалов. Есть и китайские модели, которые в некоторых задачах превосходят американские.
В целом, нейросети растут циклами, примерно раз в восемь месяцев, и крупные игроки стараются не отставать друг от друга. Я думаю, так будет продолжаться еще минимум года 3, так как возможностей для улучшения очень много: повышение качества датасета, улучшение архитектуры трансформера.
Ну, и проблем пока что хватает. На средних и дальних планах стабильность картинки всё ещё ниже среднего. Я сейчас генерирую много еды и, например, чтобы красиво разрезать бургер, это надо душу кому-то продать — на месте среза просто каша. А для клиента же важна правильная послойность продуктов, и задача превращается в нереальную. Лица в видео тоже пока нестабильны, но если сравнить с прошлым годом — прогресс огромный.
————————————
Интервью пришлось поделить на 2 части, потому что оно получилось огромным, и ТГ не дает выложить его единым постом. Ставьте банан, если ждёте 2 часть! 🍌