Maia 200: Ускоритель для инференса от Microsoft
Вчера был интересный анонс от Microsoft, они сделали свой чип для инференса, Maia 200 (https://blogs.microsoft.com/blog/2026/01/26/maia-200-the-ai-accelerator-built-for-inference/). Пока задеплоили в US Central, на очереди US West 3 регион.
Построен на 3нм процессе от TSMC, 140B транзисторов. Содержит нативные FP8/FP4 тензорные ядра, 216GB HBM3e памяти с пропускной способностью 7 TB/s и 272MB on-chip SRAM, а также специальные DMA engines для перемещения данных и “redesigned memory subsystem” для узких типов пониженной точности, но не понял относительно чего конкретно она redesigned. Чипы могут объединяться с другими по Ethernet, 2.8 TB/s bidirectional bandwidth, до 6144 чипов в кластере.
>10 PFLOPS FP4, >5 PFLOPS FP8, 750W TDP. По сравнению с Amazon Trainium 3-го поколения, у Maia FP4 перформанс в три (почти в четыре) раза выше. Так понимаю, у AWS хоть и есть отдельный чип для инференса (Inferentia2), новые поколения Trainium по факту универсальные акселераторы в том числе и для инференса, и цифры у них выше. В сравнении же с Гугловым TPU gen7, выше перформанс на FP8.
В целом, в эру test-time scaling это имеет смысл, для ризонинга FP4/FP8 вполне хватает, да и для обучения некоторым тоже уже хватает. Заявляют, что среди прочего будут использовать эти чипы для инференса GPT-5.2, а их Superintelligence team (не знал, что у MS тоже есть такая) будет их использовать для генерации синтетики и для RL.
Maia SDK в превью (по реквесту) с поддержкой PyTorch, компилятором Triton, библиотекой оптимизированных ядер и доступом к их низкоуровневому языку программирования. Можно стать уникальным специалистом по ядрам для ещё одной архитектуры 😀
Больше подробностей про железо и архитектуру здесь: https://techcommunity.microsoft.com/blog/azureinfrastructureblog/deep-dive-into-the-maia-200-architecture/4489312
Документ от вчера, но уже версии 3.0 🙂
Короче, ещё одна компания отвязывается от монополии NVIDIA, все хотят оунить полный стек. Как видимо и сама Нвидия, идущая в обратную сторону.
Вчера был интересный анонс от Microsoft, они сделали свой чип для инференса, Maia 200 (https://blogs.microsoft.com/blog/2026/01/26/maia-200-the-ai-accelerator-built-for-inference/). Пока задеплоили в US Central, на очереди US West 3 регион.
Построен на 3нм процессе от TSMC, 140B транзисторов. Содержит нативные FP8/FP4 тензорные ядра, 216GB HBM3e памяти с пропускной способностью 7 TB/s и 272MB on-chip SRAM, а также специальные DMA engines для перемещения данных и “redesigned memory subsystem” для узких типов пониженной точности, но не понял относительно чего конкретно она redesigned. Чипы могут объединяться с другими по Ethernet, 2.8 TB/s bidirectional bandwidth, до 6144 чипов в кластере.
>10 PFLOPS FP4, >5 PFLOPS FP8, 750W TDP. По сравнению с Amazon Trainium 3-го поколения, у Maia FP4 перформанс в три (почти в четыре) раза выше. Так понимаю, у AWS хоть и есть отдельный чип для инференса (Inferentia2), новые поколения Trainium по факту универсальные акселераторы в том числе и для инференса, и цифры у них выше. В сравнении же с Гугловым TPU gen7, выше перформанс на FP8.
В целом, в эру test-time scaling это имеет смысл, для ризонинга FP4/FP8 вполне хватает, да и для обучения некоторым тоже уже хватает. Заявляют, что среди прочего будут использовать эти чипы для инференса GPT-5.2, а их Superintelligence team (не знал, что у MS тоже есть такая) будет их использовать для генерации синтетики и для RL.
Maia SDK в превью (по реквесту) с поддержкой PyTorch, компилятором Triton, библиотекой оптимизированных ядер и доступом к их низкоуровневому языку программирования. Можно стать уникальным специалистом по ядрам для ещё одной архитектуры 😀
Больше подробностей про железо и архитектуру здесь: https://techcommunity.microsoft.com/blog/azureinfrastructureblog/deep-dive-into-the-maia-200-architecture/4489312
Документ от вчера, но уже версии 3.0 🙂
Короче, ещё одна компания отвязывается от монополии NVIDIA, все хотят оунить полный стек. Как видимо и сама Нвидия, идущая в обратную сторону.