Nvidia хочет, чтобы ваша домашняя сеть работала как мини-центр обработки данных для локального ИИ

PAIR (Personal AI Router) от Nvidia автоматически распределяет запросы к локальному ИИ между всеми доступными устройствами в домашней сети, сокращая время ожидания при выполнении параллельных задач агентами. Инструмент с открытым исходным кодом располагается между существующими инструментами, такими как Ollama или LM Studio, и компьютерами в вашей сети, работая как виртуальный маршрутизатор. Пользователям не нужно менять своих агентов или приложения. Вместо перегрузки одного графического процессора PAIR перенаправляет запросы на свободные машины, а затем собирает результаты и возвращает их вызывающему приложению.

Поддерживаемое оборудование включает видеокарты GeForce RTX начиная с серии 20, рабочие станции RTX Pro, DGX Spark, а также устройства на базе Apple Silicon начиная с M4. В демонстрации кластер из трёх устройств выполнил задачу с пятью субагентами чуть менее чем за 9 минут, тогда как на одном ноутбуке это заняло 18 минут. PAIR автоматически обнаруживает совместимые устройства в сети и защищает весь трафик между машинами с помощью шифрования MTLS. Бета-версия доступна для Windows, macOS и Linux. PAIR вписывается в более широкую стратегию NVIDIA по более тесной привязке открытого ИИ к собственному оборудованию — это также отражено в её приобретении Hugging Face за 12,9 млрд долларов.

Новости об ИИ без шумихи — отобраны людьми

Подпишитесь на THE DECODER, чтобы читать материалы без рекламы, получать еженедельную рассылку об ИИ и наш эксклюзивный обзор передовых разработок «AI Radar» шесть раз в год, иметь полный доступ к архиву и разделу комментариев.