🚨 Moonshot AI выложила Kimi K3 на Hugging Face — 2,8 ТРИЛЛИОНА параметров в открытых весах.
Это первая open-weight модель класса ~3T. При этом благодаря MoE на каждом токене активируется 104 млрд параметров: 16 экспертов из 896. (Hugging Face)
Что внутри:
— контекст 1 048 576 токенов
— нативная работа с текстом и изображениями
— новая Kimi Delta Attention (KDA)
— Attention Residuals
— 93 слоя: 69 KDA + 24 Gated MLA
— MXFP4-веса + MXFP8-активации
— заявлено примерно 2,5× более эффективное масштабирование, чем у Kimi K2. (Hugging Face)
K3 заточена под долгие агентные задачи: работу с огромными репозиториями, терминалом, исследования, оптимизацию GPU-ядер, компиляторы и другие многошаговые инженерные сценарии. (Hugging Face)
Moonshot действительно опубликовала полные веса модели, а не ограничилась API. (Hugging Face)
https://huggingface.co/moonshotai/Kimi-K3
Это первая open-weight модель класса ~3T. При этом благодаря MoE на каждом токене активируется 104 млрд параметров: 16 экспертов из 896. (Hugging Face)
Что внутри:
— контекст 1 048 576 токенов
— нативная работа с текстом и изображениями
— новая Kimi Delta Attention (KDA)
— Attention Residuals
— 93 слоя: 69 KDA + 24 Gated MLA
— MXFP4-веса + MXFP8-активации
— заявлено примерно 2,5× более эффективное масштабирование, чем у Kimi K2. (Hugging Face)
K3 заточена под долгие агентные задачи: работу с огромными репозиториями, терминалом, исследования, оптимизацию GPU-ядер, компиляторы и другие многошаговые инженерные сценарии. (Hugging Face)
Moonshot действительно опубликовала полные веса модели, а не ограничилась API. (Hugging Face)
https://huggingface.co/moonshotai/Kimi-K3