⚡️ Zyphra выкатила ZAYA1-8B - маленькую MoE-модель, которая выглядит слишком бодро для своего размера.
У модели меньше 1 млрд активных параметров, но Zyphra заявляет, что она конкурирует с куда более крупными open-weight и proprietary-моделями на математике, кодинге и reasoning-бенчмарках.
ZAYA1-8B - это ставка на весь стек сразу:
- MoE-архитектура с Compressed Convolutional Attention;
- новый MLP-router для более стабильного выбора экспертов;
- learned residual scaling для контроля роста residual-норм;
- pretraining на AMD Instinct MI300x, без NVIDIA-стека;
- большой post-training pipeline с SFT, reasoning warmup, RLVE-Gym, math/code RL и RLHF/RLAIF;
- test-time compute метод Markovian RSA.
Markovian RSA - самая любопытная часть. Модель генерирует несколько reasoning-трасс параллельно, затем рекурсивно агрегирует их и продолжает рассуждение кусками, не раздувая контекст бесконечно. По заявлению Zyphra, именно это резко бустит сложные математические задачи.
На HMMT'25 они показывают 89.6 против 88.3 у Claude 4.5 Sonnet и GPT-5-High. А при extra-high test-time compute говорят, что ZAYA1-8B обходит DeepSeek-V3.2 и GPT-OSS-120B High на APEX-shortlist.
Модель полностью обучали на AMD-инфраструктуре. Для рынка это почти политическое заявление - serious AI training больше не обязан выглядеть как “NVIDIA or nothing”.
ZAYA1-8B доступна в Zyphra Cloud, веса выложены на Hugging Face, лицензия Apache-2.0.
https://www.zyphra.com/post/zaya1-8b
@ai_machinelearning_big_data
#Zyphra
У модели меньше 1 млрд активных параметров, но Zyphra заявляет, что она конкурирует с куда более крупными open-weight и proprietary-моделями на математике, кодинге и reasoning-бенчмарках.
ZAYA1-8B - это ставка на весь стек сразу:
- MoE-архитектура с Compressed Convolutional Attention;
- новый MLP-router для более стабильного выбора экспертов;
- learned residual scaling для контроля роста residual-норм;
- pretraining на AMD Instinct MI300x, без NVIDIA-стека;
- большой post-training pipeline с SFT, reasoning warmup, RLVE-Gym, math/code RL и RLHF/RLAIF;
- test-time compute метод Markovian RSA.
Markovian RSA - самая любопытная часть. Модель генерирует несколько reasoning-трасс параллельно, затем рекурсивно агрегирует их и продолжает рассуждение кусками, не раздувая контекст бесконечно. По заявлению Zyphra, именно это резко бустит сложные математические задачи.
На HMMT'25 они показывают 89.6 против 88.3 у Claude 4.5 Sonnet и GPT-5-High. А при extra-high test-time compute говорят, что ZAYA1-8B обходит DeepSeek-V3.2 и GPT-OSS-120B High на APEX-shortlist.
Модель полностью обучали на AMD-инфраструктуре. Для рынка это почти политическое заявление - serious AI training больше не обязан выглядеть как “NVIDIA or nothing”.
ZAYA1-8B доступна в Zyphra Cloud, веса выложены на Hugging Face, лицензия Apache-2.0.
https://www.zyphra.com/post/zaya1-8b
@ai_machinelearning_big_data
#Zyphra