Mixture-of-Kittens: our open-source MoE megakernel for NVL72s
📄 Блогпост
💻 Код
Ребята из курсора реализовали MXFP8 мегакернел под названием Mixture-of-Kittens, где пофьюжены все операции для слоя смеси экспертов, специализированный под GB300 NVL72s.
В отличие от MegaMoE от команды Дипсика 🐋, этот кернел не только под инференс, а еще и под обучение.
📄 Блогпост
💻 Код
Ребята из курсора реализовали MXFP8 мегакернел под названием Mixture-of-Kittens, где пофьюжены все операции для слоя смеси экспертов, специализированный под GB300 NVL72s.
В отличие от MegaMoE от команды Дипсика 🐋, этот кернел не только под инференс, а еще и под обучение.