Видео недоступно для предпросмотра
Смотреть в Telegram
VC-Attention
ускорение генерации видео до 1.7x от Nunchux AI
Стандартное внимание в диффузионных трансформерах замедляет генерацию видео: все вычисления в FP32, много лишних операций. VC-Attention решает это без переобучения модели.
V-Smooth группирует похожие токены и снижает ошибку квантования значений. ExpCast-FP8 меняет экспоненту в FP32 на прямой перевод результатов в FP8
На RTX 5090 внимание Wan2.2 ускорилось в 3.58 раза, полная генерация в 1.7 раза
Проверили на Wan2.2, LongCat-Video, HunyuanVideo-1.5 и MiniMax-H3
Nunchux Attention - проприетарное расширение VC-Attention. Усоряет MiniMax-H3 в 1.91x против BF16 FlashAttention-4 на B200
Бесплатный доступ для H3 обещают скоро открыть
Вейтлист
Спасибо @Endorpheen
#optimization
VK | MAX
ускорение генерации видео до 1.7x от Nunchux AI
Стандартное внимание в диффузионных трансформерах замедляет генерацию видео: все вычисления в FP32, много лишних операций. VC-Attention решает это без переобучения модели.
V-Smooth группирует похожие токены и снижает ошибку квантования значений. ExpCast-FP8 меняет экспоненту в FP32 на прямой перевод результатов в FP8
На RTX 5090 внимание Wan2.2 ускорилось в 3.58 раза, полная генерация в 1.7 раза
Проверили на Wan2.2, LongCat-Video, HunyuanVideo-1.5 и MiniMax-H3
Nunchux Attention - проприетарное расширение VC-Attention. Усоряет MiniMax-H3 в 1.91x против BF16 FlashAttention-4 на B200
Бесплатный доступ для H3 обещают скоро открыть
Вейтлист
Спасибо @Endorpheen
#optimization
VK | MAX