GPU-стек повторно використовує ядра LLM для швидших ембедингів
Perplexity описала інфраструктуру обслуговування для pplx-embed і моделей ранжування, що використовуються в Perplexity Search, Computer та API Platform. Компанія зазначає, що виконання ембедингів на GPU значною мірою уніфікувалося на зрілому обладнанні Hopper і Blackwell. За оцінкою команди, основні можливості для прискорення тепер пов’язані з середовищем виконання та обробкою запитів.
Один рушій підтримує три сценарії: пакетне створення ембедингів під час побудови або переіндексації векторної бази, швидке онлайн-вбудовування запитів і оцінювання документів після векторного пошуку. Окремий рушій для ембедингів Perplexity не створювала, натомість повторно використовує ядра prefill і decode зі свого стека великих мовних моделей.
Ivy — HTTP-шлюз на Rust для обробки JSON, токенізації, шаблонізації входу, поділу великих пакетів і балансування між репліками. Tulip — інтерфейс gRPC на Rust, який планує та об’єднує запити за принципом першого надходження. ROSE виконує інференс і керує ядрами, описами моделей та CUDA-графами. Графи зменшують витрати на запуск операцій, а LazyTensor дає змогу CPU готувати наступний пакет паралельно з обробкою поточного на GPU. Perplexity заявляє, що затримка переважно залежить від кількості токенів; для моделі менш як на мільярд параметрів насичення настає приблизно на 512 токенах.
Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.