Репост из: PRO Hi-Tech
NVIDIA ускорила локальный ИИ на картах RTX и станциях DGX, а также анонсировала инструмент PAIR
Компания NVIDIA выпустила масштабное обновление для локального ИИ, ускорив работу моделей на видеокартах RTX и станциях DGX. Совместные оптимизации с проектами llama.cpp и vLLM подняли производительность ИИ-агентов до 1,9 раза — к примеру, генерация ответов моделью Qwen3.6-35B на GeForce RTX 5090 выросла на 90%. Параллельно компания упростила запуск Hermes Agent и OpenClaw, добавив настройку «в один клик» для видеокарт с объемом памяти от 24 ГБ.
Вместе с этим представлен бесплатный открытый инструмент PAIR (Personal AI Router) для Windows, Linux и macOS. ПО объединяет домашние ПК и ноутбуки в единую сеть, перенаправляя запросы к Ollama и LM Studio на простаивающие устройства. Инструмент поддерживает любые графические чипы, включая встроенную графику сторонних производителей, и учитывает текущую нагрузку — если на ПК запущены игры, задача уйдет на другой узел. Это позволяет распределять вычисления между несколькими устройствами и ускорять сложные сценарии.
Компания NVIDIA выпустила масштабное обновление для локального ИИ, ускорив работу моделей на видеокартах RTX и станциях DGX. Совместные оптимизации с проектами llama.cpp и vLLM подняли производительность ИИ-агентов до 1,9 раза — к примеру, генерация ответов моделью Qwen3.6-35B на GeForce RTX 5090 выросла на 90%. Параллельно компания упростила запуск Hermes Agent и OpenClaw, добавив настройку «в один клик» для видеокарт с объемом памяти от 24 ГБ.
Вместе с этим представлен бесплатный открытый инструмент PAIR (Personal AI Router) для Windows, Linux и macOS. ПО объединяет домашние ПК и ноутбуки в единую сеть, перенаправляя запросы к Ollama и LM Studio на простаивающие устройства. Инструмент поддерживает любые графические чипы, включая встроенную графику сторонних производителей, и учитывает текущую нагрузку — если на ПК запущены игры, задача уйдет на другой узел. Это позволяет распределять вычисления между несколькими устройствами и ускорять сложные сценарии.