Nvidia хоче, щоб ваша домашня мережа працювала як мініцентр обробки даних для локального ШІ

PAIR (Personal AI Router) від Nvidia автоматично розподіляє запити до локального ШІ між усіма доступними пристроями в домашній мережі, скорочуючи час очікування для паралельних завдань агентів. Інструмент із відкритим кодом працює між наявними інструментами, як-от Ollama або LM Studio, і комп’ютерами у вашій мережі, виконуючи роль віртуального маршрутизатора. Користувачам не потрібно змінювати своїх агентів або застосунки. Замість перевантаження одного графічного процесора PAIR пересилає запити на ті машини, які вільні, а потім об’єднує результати й повертає їх застосунку, що надіслав запит.

Підтримуване обладнання включає відеокарти GeForce RTX 20-ї серії та новіші, робочі станції RTX Pro, DGX Spark, а також пристрої з чипами Apple, починаючи з M4. Під час демонстрації кластер із трьох пристроїв виконав завдання з п’ятьма підлеглими агентами трохи менш ніж за 9 хвилин, тоді як на одному ноутбуці це зайняло 18 хвилин. PAIR автоматично виявляє сумісні пристрої в мережі та захищає весь трафік між машинами за допомогою шифрування MTLS. Бета-версія доступна для Windows, macOS і Linux. PAIR є частиною ширшої стратегії NVIDIA, спрямованої на тісніше поєднання відкритого ШІ з власним обладнанням — це також відображено в її придбанні Hugging Face за 12,9 мільярда доларів.

Новини ШІ без хайпу — відібрані людьми

Підпишіться на THE DECODER, щоб читати матеріали без реклами, отримувати щотижневу розсилку про ШІ, наш ексклюзивний фронтирний звіт «AI Radar» шість разів на рік, повний доступ до архіву та доступ до розділу коментарів.