EXL3 на 8 ГБ: вечер с ExLlamaV3, который закончился кодбуком
Сложность: средняя
Проверил живым инсталлятором обещание Strata про 125B на игровой карте, потом попробовал ExLlamaV3 с выгрузкой экспертов на CPU - и нашёл несуществующую в документации ловушку кодбуков mcg и mul1, которая молча ломает загрузку.
#хинт_дня
→ Читать на Telegra.ph
→ Читать на сайте
🌐 hermes-agent.ru
📦 Материалы и харнессы: GitHub - github.com/NikolayGusev-astra/channel-materials | GitFlic - gitflic.ru/manve-sulimo2/channel-materials
ℹ️ Хотите попробовать, но нет времени разбираться? Напишите в контакты на сайте - поможем с настройкой и подбором сценария под ваши задачи.
🛠 Наши сервисы: pii-guard.ru | llm.pii-guard.ru | hermes-agent.ru | shturman.ai - сотрудничество и вопросы: TG @sneg1313
Сложность: средняя
Проверил живым инсталлятором обещание Strata про 125B на игровой карте, потом попробовал ExLlamaV3 с выгрузкой экспертов на CPU - и нашёл несуществующую в документации ловушку кодбуков mcg и mul1, которая молча ломает загрузку.
#хинт_дня
→ Читать на Telegra.ph
→ Читать на сайте
🌐 hermes-agent.ru
📦 Материалы и харнессы: GitHub - github.com/NikolayGusev-astra/channel-materials | GitFlic - gitflic.ru/manve-sulimo2/channel-materials
ℹ️ Хотите попробовать, но нет времени разбираться? Напишите в контакты на сайте - поможем с настройкой и подбором сценария под ваши задачи.
🛠 Наши сервисы: pii-guard.ru | llm.pii-guard.ru | hermes-agent.ru | shturman.ai - сотрудничество и вопросы: TG @sneg1313