Репост из: Машинное обучение RU
🔥 Qwen 3.5 Series GPTQ-Int4
Вышли квантизированные веса GPTQ-Int4 для серии Qwen 3.5 - теперь запускать мощные модели можно даже на ограниченном железе.
- GPTQ-Int4
4-битная квантизация = значительно меньше потребление VRAM.
- Нативная поддержка vLLM и SGLang
Можно запускать без костылей и сложной настройки.
- Меньше памяти - быстрее инференс
Подходит для локальных серверов, single-GPU машин и бюджетных сетапов.
- Production-ready
Идеально для тех, кто строит свои LLM-сервисы и хочет максимум эффективности.
Запустить мощную модель теперь можно даже на ограниченном GPU-сетапе.
Hugging Face: https://huggingface.co/collections/Qwen/qwen35
ModelScope: https://modelscope.cn/collections/Qwen/Qwen35
Вышли квантизированные веса GPTQ-Int4 для серии Qwen 3.5 - теперь запускать мощные модели можно даже на ограниченном железе.
- GPTQ-Int4
4-битная квантизация = значительно меньше потребление VRAM.
- Нативная поддержка vLLM и SGLang
Можно запускать без костылей и сложной настройки.
- Меньше памяти - быстрее инференс
Подходит для локальных серверов, single-GPU машин и бюджетных сетапов.
- Production-ready
Идеально для тех, кто строит свои LLM-сервисы и хочет максимум эффективности.
Запустить мощную модель теперь можно даже на ограниченном GPU-сетапе.
Hugging Face: https://huggingface.co/collections/Qwen/qwen35
ModelScope: https://modelscope.cn/collections/Qwen/Qwen35