EXL3-2: тысяча квантов, один подходит. Учимся считать бюджет до закачки
Сложность: средняя
В первой части я похоронил ExLlamaV3 на 8 ГБ. В этой - обошёл 223 живых релиза скриптом, нашёл единственный квант, который проходит все три фильтра, скачал, запустил. Offload заработал. А потом посчитал бюджет - и понял, что зря качал.
#хинт_дня
→ Читать на Telegra.ph
→ Читать на сайте
🌐 hermes-agent.ru
📦 Материалы и харнессы: GitHub - github.com/NikolayGusev-astra/channel-materials | GitFlic - gitflic.ru/manve-sulamo2/channel-materials
ℹ️ Хотите попробовать, но нет времени разбираться? Напишите в контакты на сайте - поможем с настройкой и подбором сценария под ваши задачи.
🛠 Наши сервисы: pii-guard.ru | llm.pii-guard.ru | hermes-agent.ru | shturman.ai - сотрудничество и вопросы: TG @sneg1313
Сложность: средняя
В первой части я похоронил ExLlamaV3 на 8 ГБ. В этой - обошёл 223 живых релиза скриптом, нашёл единственный квант, который проходит все три фильтра, скачал, запустил. Offload заработал. А потом посчитал бюджет - и понял, что зря качал.
#хинт_дня
→ Читать на Telegra.ph
→ Читать на сайте
🌐 hermes-agent.ru
📦 Материалы и харнессы: GitHub - github.com/NikolayGusev-astra/channel-materials | GitFlic - gitflic.ru/manve-sulamo2/channel-materials
ℹ️ Хотите попробовать, но нет времени разбираться? Напишите в контакты на сайте - поможем с настройкой и подбором сценария под ваши задачи.
🛠 Наши сервисы: pii-guard.ru | llm.pii-guard.ru | hermes-agent.ru | shturman.ai - сотрудничество и вопросы: TG @sneg1313