Репост из: Тест Тьюринга
🌟 NVIDIA предлагает собрать домашний дата-центр из компьютеров, которые уже стоят на столах
NVIDIA выпустила открытую бета-версию Personal AI Router — PAIR. Программа объединяет совместимые компьютеры одной сети в кластер и распределяет между ними запросы локальных ИИ-агентов.
Однако название немного вводит в заблуждение. PAIR — точно не физический роутер и пока не диспетчер выбора моделей, автоматически решающий, когда вызвать маленькую локальную модель, а когда облачную — Claude, Gemini или GPT. Это маршрутизатор запросов между вычислительными узлами локальной сети. И, к сожалению, PAIR пока не отправит особенно сложный запрос во фронтирную облачную модель автоматически. Для этого нужен второй слой — маршрутизатор между моделями, например NeMo Switchyard, NVIDIA LLM Router либо собственный шлюз с правилами и проверкой результата.
Как это работает?
Например, приложение ИИ-агента обращается к привычному локальному адресу Ollama или LM Studio. PAIR перехватывает запрос, проверяет, на каких компьютерах есть нужная модель и свободные ресурсы, отправляет его на один подходящий узел и возвращает результат. А для ИИ-агента вся сеть выглядит как единая точка входа.
PAIR не складывает видеопамять разных устройств, не делит одну модель между несколькими GPU и не превращает 14B и 32B в условную модель на 46 млрд параметров. Каждый запрос целиком выполняется на одном компьютере. Выигрыш возникает, когда агент порождает много независимых обращений: например, пять субагентов параллельно изучают разные документы, пишут код и проверяют выводы.
Можно ли установить PAIR сейчас?
Исходный код опубликован под Apache 2.0, доступны установщики для Windows, Linux и macOS. На старте поддерживаются Ollama и LM Studio, видеокарты GeForce RTX начиная с 20-й серии, RTX Pro, DGX Spark и компьютеры Apple с M4 и новее. Устройства находятся через локальную сеть.
Продукт пока новый. Планировщик учитывает наличие модели и загрузку очереди, однако ещё не умеет полноценно оценивать скорость GPU, объём свободной VRAM, «прогретость» модели, сложность запроса и ожидаемое время ответа. Поэтому неоднородный парк машин он может использовать неоптимально.
Для обычного API в ЦОД, vLLM или внешнего облачного сервиса штатной интеграции пока нет.
Таким образом, PAIR решает не всю задачу гибридного ИИ, а её нижний этаж: помогает эффективнее использовать локальное железо. Но именно из таких этажей постепенно складывается новая вычислительная архитектура — где агент получает не одну модель, а целую лестницу интеллекта и поднимается настолько высоко, насколько требует задача.
💬 Тест Тьюринга. События в сфере ИИ. Подписаться
NVIDIA выпустила открытую бета-версию Personal AI Router — PAIR. Программа объединяет совместимые компьютеры одной сети в кластер и распределяет между ними запросы локальных ИИ-агентов.
Однако название немного вводит в заблуждение. PAIR — точно не физический роутер и пока не диспетчер выбора моделей, автоматически решающий, когда вызвать маленькую локальную модель, а когда облачную — Claude, Gemini или GPT. Это маршрутизатор запросов между вычислительными узлами локальной сети. И, к сожалению, PAIR пока не отправит особенно сложный запрос во фронтирную облачную модель автоматически. Для этого нужен второй слой — маршрутизатор между моделями, например NeMo Switchyard, NVIDIA LLM Router либо собственный шлюз с правилами и проверкой результата.
Как это работает?
Например, приложение ИИ-агента обращается к привычному локальному адресу Ollama или LM Studio. PAIR перехватывает запрос, проверяет, на каких компьютерах есть нужная модель и свободные ресурсы, отправляет его на один подходящий узел и возвращает результат. А для ИИ-агента вся сеть выглядит как единая точка входа.
PAIR не складывает видеопамять разных устройств, не делит одну модель между несколькими GPU и не превращает 14B и 32B в условную модель на 46 млрд параметров. Каждый запрос целиком выполняется на одном компьютере. Выигрыш возникает, когда агент порождает много независимых обращений: например, пять субагентов параллельно изучают разные документы, пишут код и проверяют выводы.
В демонстрации NVIDIA задача с пятью субагентами и Qwen 3.6 35B выполнялась на одном RTX Spark за 18 минут, а на трёх устройствах с PAIR — за 8 минут 48 секунд.
Можно ли установить PAIR сейчас?
Исходный код опубликован под Apache 2.0, доступны установщики для Windows, Linux и macOS. На старте поддерживаются Ollama и LM Studio, видеокарты GeForce RTX начиная с 20-й серии, RTX Pro, DGX Spark и компьютеры Apple с M4 и новее. Устройства находятся через локальную сеть.
Продукт пока новый. Планировщик учитывает наличие модели и загрузку очереди, однако ещё не умеет полноценно оценивать скорость GPU, объём свободной VRAM, «прогретость» модели, сложность запроса и ожидаемое время ответа. Поэтому неоднородный парк машин он может использовать неоптимально.
Для обычного API в ЦОД, vLLM или внешнего облачного сервиса штатной интеграции пока нет.
Таким образом, PAIR решает не всю задачу гибридного ИИ, а её нижний этаж: помогает эффективнее использовать локальное железо. Но именно из таких этажей постепенно складывается новая вычислительная архитектура — где агент получает не одну модель, а целую лестницу интеллекта и поднимается настолько высоко, насколько требует задача.
💬 Тест Тьюринга. События в сфере ИИ. Подписаться