Sakhanda Wire
NVDA $152.18 -2.54% MSFT $505.66 -2.38% GOOGL $279.68 -1.43% META $617.65 -1.40% AMZN $256.02 -0.67%
← До новин

GPU-стек повторно використовує ядра LLM для швидших ембедингів

Perplexity описала інфраструктуру обслуговування для pplx-embed і моделей ранжування, що використовуються в Perplexity Search, Computer та API Platform. Компанія зазначає, що виконання ембедингів на GPU значною мірою уніфікувалося на зрілому обладнанні Hopper і Blackwell. За оцінкою команди, основні можливості для прискорення тепер пов’язані з середовищем виконання та обробкою запитів.

Один рушій підтримує три сценарії: пакетне створення ембедингів під час побудови або переіндексації векторної бази, швидке онлайн-вбудовування запитів і оцінювання документів після векторного пошуку. Окремий рушій для ембедингів Perplexity не створювала, натомість повторно використовує ядра prefill і decode зі свого стека великих мовних моделей.

Ivy — HTTP-шлюз на Rust для обробки JSON, токенізації, шаблонізації входу, поділу великих пакетів і балансування між репліками. Tulip — інтерфейс gRPC на Rust, який планує та об’єднує запити за принципом першого надходження. ROSE виконує інференс і керує ядрами, описами моделей та CUDA-графами. Графи зменшують витрати на запуск операцій, а LazyTensor дає змогу CPU готувати наступний пакет паралельно з обробкою поточного на GPU. Perplexity заявляє, що затримка переважно залежить від кількості токенів; для моделі менш як на мільярд параметрів насичення настає приблизно на 512 токенах.

Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням MarkTechPost

Читати оригінал на MarkTechPost ↗

Репортаж і зображення належать MarkTechPost і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини