📎 Derp Learning
Наконец дошли руки поковырять Qwen 3.8-27b
Как говорится, мое увожение.
На мои 16гб комфортно влез Qwen3.8-27B-UD-Q3_K_XL от unsloth
--ctx-size 100535 -ngl 99 -fa on --cache-type-k q4_0 --cache-type-v q4_0 --jinja --reasoning-effort medium --no-context-shift --cache-reuse 256 --spec-type draft-mtp --spec-draft-n-max 1 -b 2048 -ub 512 --temp 1.0 --top-p 0.95 --top-k 20 --min-p 0.0 --tools all
выдает 36.77 t/s с контекстом 100535
Еще есть интересный дистилл Qwen3.8-2.4T-A95B -> Qwen 3.5 9b
Понятно, что сильно умнее qwen 3.5 не стал, это скорее тюн для тулколлинга.
С Qwen3.8-9B-Q8_0 и конфигом
--ctx-size 262144 -ngl 99 -fa on --cache-type-k q8_0 --cache-type-v q8_0 --jinja --reasoning-effort low --no-context-shift --cache-reuse 256 --spec-type draft-mtp --spec-draft-n-max 3 -b 2048 -ub 512 --temp 1.0 --top-p 0.95 --top-k 20 --min-p 0.0 --tools all
выдает 85-110 t/s с контекстом 262144 (I'm stupid faster)
В llama.cpp ui / aider ваншотят игры вроде scorched earth, но 9b модель чаще спотыкается и любит заloopиться.
Можно гонять и через claude code/codex, но codex использует новый более сырой апи и одним своим системным промтом сжирает 20к+ токенов :D
Можно генерить план имплементации с Qwen3.8-27B-UD-Q3_K_XL а потом имплементировать Qwen3.8-9B-Q8_0
llama.cpp тут
Наконец дошли руки поковырять Qwen 3.8-27b
Как говорится, мое увожение.
На мои 16гб комфортно влез Qwen3.8-27B-UD-Q3_K_XL от unsloth
--ctx-size 100535 -ngl 99 -fa on --cache-type-k q4_0 --cache-type-v q4_0 --jinja --reasoning-effort medium --no-context-shift --cache-reuse 256 --spec-type draft-mtp --spec-draft-n-max 1 -b 2048 -ub 512 --temp 1.0 --top-p 0.95 --top-k 20 --min-p 0.0 --tools all
выдает 36.77 t/s с контекстом 100535
Еще есть интересный дистилл Qwen3.8-2.4T-A95B -> Qwen 3.5 9b
Понятно, что сильно умнее qwen 3.5 не стал, это скорее тюн для тулколлинга.
С Qwen3.8-9B-Q8_0 и конфигом
--ctx-size 262144 -ngl 99 -fa on --cache-type-k q8_0 --cache-type-v q8_0 --jinja --reasoning-effort low --no-context-shift --cache-reuse 256 --spec-type draft-mtp --spec-draft-n-max 3 -b 2048 -ub 512 --temp 1.0 --top-p 0.95 --top-k 20 --min-p 0.0 --tools all
выдает 85-110 t/s с контекстом 262144 (I'm stupid faster)
В llama.cpp ui / aider ваншотят игры вроде scorched earth, но 9b модель чаще спотыкается и любит заloopиться.
Можно гонять и через claude code/codex, но codex использует новый более сырой апи и одним своим системным промтом сжирает 20к+ токенов :D
Можно генерить план имплементации с Qwen3.8-27B-UD-Q3_K_XL а потом имплементировать Qwen3.8-9B-Q8_0
llama.cpp тут