Perplexity пуска Portable Computer на NVIDIA DGX Spark: локален инструментариум, пясъчник под контрола на ОС и нулева цена на токен за локалните стъпки
Perplexity пусна Portable Computer, локално ориентирана версия на своята агентна платформа Computer, която изпълнява директно върху NVIDIA DGX Spark агентния хърнес, оркестратора, планировчика, маршрутизатора на инструменти и дообучените модели. Локалният модел, енджинът за инференция, пясъчникът за инструменти и конекторите към приложения се доставят като една пакетирана система, всяка задача започва на устройството, а работата, обработвана от локални модели, не се таксува на токен. Когато дадена стъпка изисква актуалния уеб или авангардно разсъждение, оркестраторът спира и пита, преди да изпрати само тази стъпка към един от над 15 облачни модела.
Може ли да бъде внедрен?
Да, но с твърдо хардуерно изискване. Това е доставян софтуер, а не предварителна версия, но изисква машина от клас GB10 или RTX GPU с 24 GB VRAM.
- Ниво на компанията: Предприятия и средни компании, които вече притежават работни станции на NVIDIA, както и добре финансирани стартъпи, създадени около AI. Не е практично за общия сегмент на малките и средните предприятия — машината е входната цена.
- Индустрии: Финанси, право, здравеопазване, държавна администрация и отбрана, както и инженеринг с интензивно използване на интелектуална собственост — навсякъде, където изискванията за локализация на данните или договорната конфиденциалност блокират облачния инференс.
- Приложения: Преглед на такси и оповестявания в набори от документи, изследвания с ограничения за личните данни, миграции в мащаба на хранилища, пакетно обобщаване на локални корпуси и триаж на pull request-и, завършващ в Slack.
Какво всъщност се доставя на устройството
Portable Computer не е локално чат приложение с инструмент за избор на файлове. Perplexity пакетира локалния модел, енджина за инференция, агентния хърнес, пясъчника за инструменти и конекторите към приложения като една система, което премахва обичайната работа по стартиране на сървър за инференция и ръчно свързване на инструментите. Потребителите избират между Qwen 3.8 27B и PPLX 27B — дообучения вариант на Perplexity, оптимизиран за собствения ѝ хърнес — като NVIDIA Nemotron 3.5 Lightning, отворен MoE модел с 30B параметъра, е посочен като предстоящ. Поддържа се и използване на собствен модел и сървър за инференция.
Изпълнението на код и извикванията на инструменти се извършват в пясъчник, налаган от операционната система, който ограничава процесите, пътищата във файловата система и мрежовия достъп. Ако пясъчникът не е наличен, изпълнението на инструменти се деактивира, вместо незабелязано да бъде понижено. Конекторите към Gmail, Outlook, Slack и GitHub се маршрутизират през локалния оркестратор.
Портата за ескалация е същинското дизайнерско решение
Локално ориентиран не означава само локален. Когато дадена стъпка изисква актуалния уеб или авангардно разсъждение, оркестраторът спира и пита. Преди всяко извикване хърнесът избира релевантния контекст, изпълнява класификатор за лични данни върху него и показва на потребителя точно какво би напуснало машината. Одобрената стъпка се насочва към един от над 15 облачни модела; отдалеченият съветник връща текстови указания и никога не получава директен достъп до локалните файлове, инструменти или разговора.
Perplexity е разработила системата и с оглед на ограниченията на контекста при малките модели. Qwen 3.8 27B рекламира прозорец от 260K токена, но качеството му се влошава след приблизително 100K, затова хърнесът поддържа малки системен prompt и набор от инструменти, зарежда специализирани умения при поискване, предоставя конекторите като компактни CLI инструменти вместо пълни MCP дефиниции и свива остарелия контекст по време на изпълнението.
Бенчмаркове
В своя Local Knowledge Work Bench с 53 задачи — обхващащ дълбоки изследвания, финансов анализ и създаване на документи, който според Perplexity компанията планира да публикува като отворен код — Computer, работещ с Qwen 3.8 27B на DGX Spark, постигна 82.6% срещу 77.6% за хърнеса с отворен код Pi и 74.0% за Hermes при идентичен модел. PPLX 27B повиши резултата до 85.4%.
В BrowseComp Computer постигна 66.7% спрямо 50.2% (Pi) и 43.9% (Hermes), използвайки 51% по-малко време в реални условия и 70% по-малко токени от Pi. В ParseBench-100 за визуално разбиране на документи резултатът беше 65.1% спрямо 34.6% и 13.9%.
Най-информативен е хибридният резултат. В Terminal Bench 2.1 напълно локалното изпълнение постигна 59.6% при практически нулева пределна цена; ескалацията към съветник повиши резултата до 73.0% при приблизително $0.415 за изпълнение, в сравнение с 82.4% при около $0.65 само за Claude Opus 5. Ескалацията стеснява разликата с водещите модели, но не я заличава.
Хардуер, ценови модел и ограничения
Инсталациите на DGX Spark изискват суперчип GB10, 128 GB памет и поне 1 TB място за съхранение. Оркестраторът Qwen 3.8 27B се доставя с 3-битова квантизация, изтегляне от 17.4 GB и изисква 32 GB RAM; Nemotron 3.5 Lightning е 4-битов, с размер 19 GB и изисква 36 GB. Другите системи се нуждаят от DGX OS или Ubuntu върху ARM или x64 с RTX GPU, разполагащ с 24 GB или повече VRAM. Инсталацията представлява стандартно добавяне на apt хранилище.
Наличността е ориентирана първо към Linux за абонати на Pro, Max, Enterprise Pro и Enterprise Max; Windows следва през септември, а macOS не е в пътната карта. При старта се поддържа само един DGX Spark — клъстерирането е в пътната карта, но все още не се доставя. Работата, обработвана от локални модели, не се таксува на токен, което прави мащабните миграции на хранилища и дългите цикли на проверка икономически разумни върху собствен хардуер.
Основни изводи
- Portable Computer изпълнява целия агентен хърнес, оркестратор и пясъчник локално върху DGX Spark — не е просто локален LLM.
- Всяка стъпка започва на устройството; ескалацията към над 15 облачни модела изисква изрично одобрение за всяка стъпка след проверка за лични данни.
- Собствените тестове на Perplexity: 85.4% с PPLX 27B в нейния бенчмарк с 53 задачи срещу 77.6% за Pi със същия модел.
- Terminal Bench 2.1: 59.6% локално, 73.0% със съветник при около $0.415 за изпълнение, спрямо 82.4% при около $0.65 само за Opus 5.
Разгледайте Perplexity Portable Computer и блога на NVIDIA за локалния AI.
Също така можете да ни последвате в Twitter и не забравяйте да се присъедините към нашия ML SubReddit с над 150 хил. членове и да се абонирате за нашия бюлетин. Чакайте! В Telegram ли сте? Вече можете да се присъедините към нас и в Telegram.
Преведено автоматично от английски. Оригиналната статия е на връзката по-долу.