Nvidia иска домашната ви мрежа да работи като мини център за данни за локален AI

PAIR (Personal AI Router) на NVIDIA автоматично разпределя заявките към локалния изкуствен интелект между всички налични устройства в домашната мрежа, като съкращава времето за изчакване при паралелни задачи с агенти. Инструментът с отворен код се намира между съществуващи инструменти като Ollama или LM Studio и компютрите във вашата мрежа, изпълнявайки ролята на виртуален маршрутизатор. Потребителите не трябва да променят своите агенти или приложения. Вместо да претоварва един графичен процесор, PAIR препраща заявките към машините, които са свободни, и събира резултатите обратно за приложението, отправило заявката.

Поддържаният хардуер включва GeForce RTX карти от серия 20 нагоре, работни станции RTX Pro, DGX Spark и Apple Silicon, започвайки с M4. При демонстрация клъстер от три устройства завърши задача с пет подагента за малко под 9 минути в сравнение с 18 минути на един лаптоп. PAIR автоматично открива съвместимите устройства в мрежата и защитава целия трафик между машините с MTLS криптиране. Бета версията е достъпна за Windows, macOS и Linux. PAIR се вписва в по-широкия стремеж на NVIDIA да обвърже по-тясно отворения изкуствен интелект със собствения си хардуер — стратегия, отразена и в придобиването на Hugging Face за 12,9 милиарда долара от компанията.

Новини за изкуствения интелект без сензация – подбрани от хора

Абонирайте се за THE DECODER и получете четене без реклами, седмичен бюлетин за изкуствения интелект, нашия ексклузивен обзор на новите тенденции „AI Radar“ шест пъти годишно, пълен достъп до архива и достъп до секцията за коментари.