✨ Языковую модель на 28,9 млн параметров запустили на микроконтроллере ESP32-S3
Нейросеть работает полностью локально на плате с 16 Мбайт флеш-памяти и 512 Кбайт SRAM, а сгенерированный текст выводится на небольшой дисплей.
Модель уместили на устройстве благодаря 4-битной квантизации и распределению весов между разными типами памяти, а нужные данные из таблицы эмбеддингов подгружаются из флеш-памяти по мере необходимости.
Для сравнения, предыдущий похожий проект уместил на ESP32 только модель на 260 тыс. параметров.
👉 https://habr.com/ru/news/1064114/
Нейросеть работает полностью локально на плате с 16 Мбайт флеш-памяти и 512 Кбайт SRAM, а сгенерированный текст выводится на небольшой дисплей.
Модель уместили на устройстве благодаря 4-битной квантизации и распределению весов между разными типами памяти, а нужные данные из таблицы эмбеддингов подгружаются из флеш-памяти по мере необходимости.
Для сравнения, предыдущий похожий проект уместил на ESP32 только модель на 260 тыс. параметров.
👉 https://habr.com/ru/news/1064114/