В свежем релизе Lemonade Server 11.9.0 одной из самых интересных вех стала экспериментальная поддержка бекенда AMD HRX – низкоуровневого программного интерфейса и бэкенда от AMD, предназначенный для прямого и эффективного взаимодействия с железом (графическими процессорами и NPU) при запуске локальных ИИ.
Помимо этого AMD активно работает над внедрением нового бекенда в стек llama.cpp. Сам проект на стадии early-access и на данный момент работает только на Linux с устройствами gfx1100 (Radeon RX 7900 XTX, Radeon RX 7900 XT, Radeon RX 7900 GRE, Radeon PRO W7900, Radeon PRO W7800) и gfx1151 (AMD Ryzen AI Max). Планируется расширения зоопарка железа на другие GPU AMD и поддержка Windows.
Обычные бэкенды вроде Vulkan или стандартного ROCm/HIP несут в себе большой оверхед API драйверов, распределения памяти и планировщика. HRX убирает эти лишние слои абстракции.
Достигается это за счет прямого доступа к железу и "затачивания" математических операций под архитектуру конкретного чипа. Мега круто, такое берем!
Для LLM-энтузиастов и обладателей AMD GPU проект достоин внимания. Будем посмотреть!
Помимо этого AMD активно работает над внедрением нового бекенда в стек llama.cpp. Сам проект на стадии early-access и на данный момент работает только на Linux с устройствами gfx1100 (Radeon RX 7900 XTX, Radeon RX 7900 XT, Radeon RX 7900 GRE, Radeon PRO W7900, Radeon PRO W7800) и gfx1151 (AMD Ryzen AI Max). Планируется расширения зоопарка железа на другие GPU AMD и поддержка Windows.
Обычные бэкенды вроде Vulkan или стандартного ROCm/HIP несут в себе большой оверхед API драйверов, распределения памяти и планировщика. HRX убирает эти лишние слои абстракции.
Достигается это за счет прямого доступа к железу и "затачивания" математических операций под архитектуру конкретного чипа. Мега круто, такое берем!
Для LLM-энтузиастов и обладателей AMD GPU проект достоин внимания. Будем посмотреть!