NVIDIA выпустила открытый маршрутизатор для локального ИИ
NVIDIA представила Personal AI Router (PAIR) — виртуальный маршрутизатор инференса, который распределяет независимые локальные запросы между совместимыми компьютерами в домашней сети. Публичная бета-версия 0.1.1 включает подписанные установщики для Windows, macOS и Linux, а исходный код опубликован по лицензии Apache 2.0. Интернет нужен только для загрузки моделей.
PAIR не является новым движком инференса и не объединяет оборудование в единый ускоритель. Он проксирует интерфейсы, совместимые с Ollama и LM Studio, поэтому существующим инструментам для агентных систем не требуются изменения. Устройства обнаруживаются через mDNS; при необходимости узел можно добавить по IP-адресу. Для сопряжения используется шестизначный PIN, после чего обмен защищается взаимной TLS-аутентификацией с созданными сертификатами.
Каждый запрос на всём протяжении выполнения закрепляется за одним подходящим узлом. При выборе учитываются активный движок, наличие точной версии модели, текущая нагрузка и использование GPU. В демонстрации NVIDIA с Hermes Desktop задача для пяти субагентов и Qwen 3.6 35B A3B выполнялась в среднем 18 минут на одном ноутбуке RTX Spark и 8 минут 48 секунд в конфигурации из этого ноутбука, DGX Spark и RTX 5090. Компания называет эти показатели неофициальными.
Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.