Я сделал open-source инференс движок для Gemma 4 26B-A4B 4-bit. Движок использует всего 2gb ram при размере модели 14gb. Проект написан на Swift/Metal и запускается на любом MacBook с M-процессором, даже на M1 Air.
Для того чтобы это работало, я использую стриминг весов с SSD и разные оптимизации. Кастомные fused kernels на Metal, репак весов в более подходящий формат, кеширование экспертов и I/O and compute overlap при работе с ними. Всего было более 100 разных экспериментов, все самое интересное описано в репе.
Сейчас движок выдает 4-5 tok/s на M1 Air, 5-6 на M2 Air, 26-29 tok/s на M4 MacBook Pro и 31-35 tok/s на M5 MacBook Pro.
Есть отдельное приложение на Mac, которое запускается буквально в одну команду. Надо только будет скачать веса с Hugging Face. Все абсолютно рабочее.
На GitHub есть красиво оформленная страничка и больше 110 звездочек
https://github.com/drumih/turbo-fieldfare
Для того чтобы это работало, я использую стриминг весов с SSD и разные оптимизации. Кастомные fused kernels на Metal, репак весов в более подходящий формат, кеширование экспертов и I/O and compute overlap при работе с ними. Всего было более 100 разных экспериментов, все самое интересное описано в репе.
Сейчас движок выдает 4-5 tok/s на M1 Air, 5-6 на M2 Air, 26-29 tok/s на M4 MacBook Pro и 31-35 tok/s на M5 MacBook Pro.
Есть отдельное приложение на Mac, которое запускается буквально в одну команду. Надо только будет скачать веса с Hugging Face. Все абсолютно рабочее.
На GitHub есть красиво оформленная страничка и больше 110 звездочек
https://github.com/drumih/turbo-fieldfare