Писал недавно про то, что Claude неплохо справляется с FX через MCP. Способ хороший, хотя и там нужно всё немного дорабатывать «напильником».
В данном случае основная проблема - это описать визуал, а значит, нужно найти правильный референс, что не всегда реально. Когда я обдумывал, как сделать так, чтобы референсы было найти проще, одним из вариантов, который пришёл, стала генерация нужного через видеогенераторы. Задаёшь первый кадр, при необходимости последний, описываешь, что должно происходить и вот у тебя готовый референс, который можно потом закинуть в Claude и попросить перенести в движок.
На днях подглядел ещё подобный пайплайн, но под другую реализацию - на выходе с секвенцией спрайтов. Суть та же: генерируешь первый, последний и при необходимости промежуточный кадр (для полного контроля). Как минимум нужен первый кадр для того, чтобы модель понимала стилистику. Описываешь поведение и генерируешь нужный FX в видеогенераторе, а дальше либо сам делишь на секвенции, но мы-то уже прошаренные и просим LLM, чтобы она составила из нужного видеоряда атлас секвенций, который по итогу и будет тем самым FX, который потом можно будет применить у себя в игре. Либо делаем в After Effects или вот Антон завайбкодил инструмент, который сам удаляет фон и подгоняет ключи/кадры.
Работает не только с VFX. Спрайтовые анимации персонажей, вращение элементов и т.д.
Основной пайплайн здесь, как и во многих других процессах - Imagen 2 и Seedance 2/2.5. На самом деле генераторов видео, особенно в последнее время вышло очень много и надо все тестировать на разные возможности. В данных тестах я так же пробовал Wan 3.0 и результаты были достаточно хорошие.
В общем, способ работает и в том, и в том направлении - можете как угодно крутить и упрощать свои процессы.
@VAI_ART
#VAI_Notes
В данном случае основная проблема - это описать визуал, а значит, нужно найти правильный референс, что не всегда реально. Когда я обдумывал, как сделать так, чтобы референсы было найти проще, одним из вариантов, который пришёл, стала генерация нужного через видеогенераторы. Задаёшь первый кадр, при необходимости последний, описываешь, что должно происходить и вот у тебя готовый референс, который можно потом закинуть в Claude и попросить перенести в движок.
На днях подглядел ещё подобный пайплайн, но под другую реализацию - на выходе с секвенцией спрайтов. Суть та же: генерируешь первый, последний и при необходимости промежуточный кадр (для полного контроля). Как минимум нужен первый кадр для того, чтобы модель понимала стилистику. Описываешь поведение и генерируешь нужный FX в видеогенераторе, а дальше либо сам делишь на секвенции, но мы-то уже прошаренные и просим LLM, чтобы она составила из нужного видеоряда атлас секвенций, который по итогу и будет тем самым FX, который потом можно будет применить у себя в игре. Либо делаем в After Effects или вот Антон завайбкодил инструмент, который сам удаляет фон и подгоняет ключи/кадры.
Работает не только с VFX. Спрайтовые анимации персонажей, вращение элементов и т.д.
Основной пайплайн здесь, как и во многих других процессах - Imagen 2 и Seedance 2/2.5. На самом деле генераторов видео, особенно в последнее время вышло очень много и надо все тестировать на разные возможности. В данных тестах я так же пробовал Wan 3.0 и результаты были достаточно хорошие.
В общем, способ работает и в том, и в том направлении - можете как угодно крутить и упрощать свои процессы.
@VAI_ART
#VAI_Notes