Вопрос-ответ: SM Pie

Друзья, нам часто поступают технические вопросы о продуктах SmartCore: от архитектуры до прикладных задач. В новой рубрике «вопрос-ответ» мы вместе будем давать пояснения на все интересующие вас темы

❓Вопрос:
Какой нейросетевой процессор используется на плате SM Pie?
Какие библиотеки нужны для выполнения задач машинного обучения?

💬 Ответ:
В SM Pie используется трёхъядерный NPU (Neural Processing Unit) от Rockchip

Ключевые характеристики
- Архитектура: собственная разработка Rockchip.
- Вычислительная производительность: до 6 TOPS (триллионов операций в секунду) - пиковая теоретическая производительность

💻 Для работы с NPU SM Pie используется программный стек, предоставляемый Rockchip

Основные компоненты
🔹RKNN-Toolkit2
Самый главный и незаменимый инструмент. RKNN-Toolkit2 — это набор утилит для Python, который работает на вашем компьютере (хост-системе), а не на самой плате SM Pie.

Его основные функции:
1) Конвертация моделей: преобразует нейросетевые модели, обученные в фреймворках like TensorFlow, TensorFlow Lite, PyTorch, ONNX, Caffe, Darknet в собственный формат Rockchip — .rknn
2) Квантование: Автоматически квантует модели (например, из FP32 в INT8) для максимальной производительности на NPU

🔹RKNN Runtime Library (Librknnrt.so)
Это библиотека, которая работает непосредственно на устройстве SM Pie
Назначение: выполнение сконвертированных .rknn моделей на NPU
Интерфейсы: предоставляет API на C и Python для загрузки модели, передачи входных данных, запуска inference и получения результатов

🔹Драйвер NPU
Это низкоуровневый драйвер в ядре Linux, который обеспечивает взаимодействие между библиотекой librknnrt.so и аппаратным обеспечением NPU.
Важно: он уже включен в ядро Linux для SM Pie

Если у вас остались дополнительные вопросы, пишите их на нашу почту info@smartcoredesign.com
С удовольствием ответим и проконсультируем!

#Смарткор #SmartCore #SMPie #вопросответ