GPU стекът използва LLM ядра за по-бързо вграждане
Perplexity представи инфраструктурата за обслужване зад pplx-embed и моделите за класиране, използвани в Perplexity Search, Computer и API Platform. Компанията посочва, че инференсът на embedding модели върху GPU до голяма степен се е уеднаквил при зрелия хардуер Hopper и Blackwell. Според екипа основните подобрения вече са в средата за изпълнение и обработката на заявките.
Системата обслужва три типа работа с един двигател: пакетно вграждане при създаване или преиндексиране на векторна база, онлайн вграждане при търсене и оценяване на документи след векторното търсене. Вместо отделен двигател за embedding модели Perplexity използва повторно prefill и decode ядрата от своя LLM стек.
Ivy е Rust HTTP шлюз, който обработва JSON, токенизира, разделя големи пакети и разпределя частите между реплики. Tulip е Rust gRPC интерфейс за планиране и пакетиране, а ROSE изпълнява инференса и управлява CUDA графи, ядра и моделни дефиниции. CUDA графите намаляват разхода за стартиране на операции, а LazyTensor позволява подготовката на следващия пакет да върви паралелно с GPU обработката. Perplexity заявява, че закъснението следва основно броя токени; при модел под един милиард параметъра насищането настъпва около 512 токена.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.