NVIDIA випустила відкритий маршрутизатор для локального ШІ
NVIDIA представила Personal AI Router (PAIR) — віртуальний маршрутизатор інференсу, який розподіляє незалежні локальні запити між сумісними комп’ютерами в домашній мережі. Публічна бета-версія 0.1.1 містить підписані інсталятори для Windows, macOS і Linux, а вихідний код доступний за ліцензією Apache 2.0. Підключення до інтернету потрібне лише для завантаження моделей.
PAIR не є новим рушієм інференсу й не об’єднує обладнання в один прискорювач. Він проксує інтерфейси, сумісні з Ollama та LM Studio, тому наявним інструментам для агентів не потрібні зміни. Вузли автоматично знаходяться через mDNS, а за потреби їх можна додати за IP-адресою. Сполучення підтверджується шестизначним PIN-кодом, після чого обмін захищається взаємною TLS-автентифікацією зі згенерованими сертифікатами.
Кожен запит протягом усього виконання закріплюється за одним придатним вузлом. Планувальник враховує активний рушій, наявність точної моделі, поточне навантаження та використання GPU. У демонстрації NVIDIA з Hermes Desktop завдання для п’яти субагентів і Qwen 3.6 35B A3B тривало в середньому 18 хвилин на одному ноутбуці RTX Spark і 8 хвилин 48 секунд у конфігурації з цим ноутбуком, DGX Spark та RTX 5090. NVIDIA називає ці показники неофіційними.
Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.