Data Secrets dan repost
Video oldindan ko‘rish uchun mavjud emas
Telegram'da ko‘rish
GLM-5.2 теперь можно запустить локально
Unsloth сделали отличные GGUF 2-bit и 4-bit. Модель 2-bit сохраняет ~82% точности модели и при этом уменьшает потребление памяти на 84%. Запускается на 256GB Mac.
Можно взять даже 1-bit, и все равно будет норм. На простом примере по сравнению с Claude 4.8 Opus и GPT-5.5 модель ведет себя удивительно хорошо ⬆️
huggingface.co/unsloth/GLM-5.2-GGUF
Инструкция по запуску
Unsloth сделали отличные GGUF 2-bit и 4-bit. Модель 2-bit сохраняет ~82% точности модели и при этом уменьшает потребление памяти на 84%. Запускается на 256GB Mac.
Можно взять даже 1-bit, и все равно будет норм. На простом примере по сравнению с Claude 4.8 Opus и GPT-5.5 модель ведет себя удивительно хорошо ⬆️
huggingface.co/unsloth/GLM-5.2-GGUF
Инструкция по запуску