Мы же говорили, что опенсорс рулит ☺️. И вот опять. Qwen Team выпустили новую рассуждающую LLM QwQ-32B с открытой лицензией Apache 2.0. Модель по большинству тестов превосходит OpenAI o1-mini и практически на равных тягается с DeepSeek R1-671B, будучи при этом в 20 раз (!) «легче» последней.
Характеристики модели:
🔸 Основана вышедшей в феврале на нейросети Qwen 2.5
🔸 Архитектура: трансформеры с RoPE, SwiGLU, RMSNorm и смещением внимания QKV
🔸 Количество параметров: 32,5 млрд
🔸 Количество параметров (без встраивания): 31,0 млрд
🔸 Количество слоев: 64
🔸 Количество точек внимания (GQA): 40 для Q и 8 для KV
🔸 Длина контекста: 32 тыс. токенов, с возможностью расширения до 131 072.
Модель специально обучена для решения сложных аналитических задач и, по уверениям разработчиков, особенно эффективна для математических вычислений, разработки и оптимизации ПО, научных и образовательных целей. К тому же она нетребовательна к ресурсам и (в отличие от той же базовой DeepSeek R1) может быть установлена даже на среднем домашнем ПК. И кстати, неплохо владеет русским языком.
Наш комментарий по этому поводу:
👉 Китайские технологические гиганты (а команда Qwen принадлежит концерну Alibaba Group) продолжают атаковать западных конкурентов с их проприетарными моделями, делая ставку на Open Source. Как мы видим на примере DeepSeek, это и экономически вполне оправданно.
👉 Потенциал оптимизации алгоритмов LLM далеко не исчерпан, что ведет к появлению новых мощных и компактных, а главное, дешевых в разработке и обучении моделей, не требующих топового оборудования для запуска.
👉 Открытые лицензии позволяют строить на основе базовых LLM сколько угодно производных, адаптированных под особые задачи и сценарии использования. (Кстати, Qwen сейчас лидирует по количеству таких форков). Нас ждет расцвет SLM (Small Language Models) и облачных AI-решений в разных сферах науки и бизнеса.
🚀 ©ТехноТренды
Характеристики модели:
🔸 Основана вышедшей в феврале на нейросети Qwen 2.5
🔸 Архитектура: трансформеры с RoPE, SwiGLU, RMSNorm и смещением внимания QKV
🔸 Количество параметров: 32,5 млрд
🔸 Количество параметров (без встраивания): 31,0 млрд
🔸 Количество слоев: 64
🔸 Количество точек внимания (GQA): 40 для Q и 8 для KV
🔸 Длина контекста: 32 тыс. токенов, с возможностью расширения до 131 072.
Модель специально обучена для решения сложных аналитических задач и, по уверениям разработчиков, особенно эффективна для математических вычислений, разработки и оптимизации ПО, научных и образовательных целей. К тому же она нетребовательна к ресурсам и (в отличие от той же базовой DeepSeek R1) может быть установлена даже на среднем домашнем ПК. И кстати, неплохо владеет русским языком.
Наш комментарий по этому поводу:
👉 Китайские технологические гиганты (а команда Qwen принадлежит концерну Alibaba Group) продолжают атаковать западных конкурентов с их проприетарными моделями, делая ставку на Open Source. Как мы видим на примере DeepSeek, это и экономически вполне оправданно.
👉 Потенциал оптимизации алгоритмов LLM далеко не исчерпан, что ведет к появлению новых мощных и компактных, а главное, дешевых в разработке и обучении моделей, не требующих топового оборудования для запуска.
👉 Открытые лицензии позволяют строить на основе базовых LLM сколько угодно производных, адаптированных под особые задачи и сценарии использования. (Кстати, Qwen сейчас лидирует по количеству таких форков). Нас ждет расцвет SLM (Small Language Models) и облачных AI-решений в разных сферах науки и бизнеса.
🚀 ©ТехноТренды