Парни с нуля реализовали microgpt Карпати на чистом C.
https://github.com/vixhal-baraiya/microgpt-c
Скорость:
> 6,9 млн токенов/с на Ryzen 5 5600H
> 10,1 млн токенов/с на Apple M5 Pro
Для ускорения использовали вручную написанные ядра AVX2 и NEON, хранение весов по столбцам, которое избавляет от горизонтальных редукций, заранее вычисленную таблицу префиксов для пар (token, pos) и быструю аппроксимацию экспоненты Шраудольфа.
👉 @Cpportal
https://github.com/vixhal-baraiya/microgpt-c
Скорость:
> 6,9 млн токенов/с на Ryzen 5 5600H
> 10,1 млн токенов/с на Apple M5 Pro
Для ускорения использовали вручную написанные ядра AVX2 и NEON, хранение весов по столбцам, которое избавляет от горизонтальных редукций, заранее вычисленную таблицу префиксов для пар (token, pos) и быструю аппроксимацию экспоненты Шраудольфа.
👉 @Cpportal