Sakhanda Wire
NVDA $152.18 -2.54% MSFT $505.66 -2.38% GOOGL $279.68 -1.43% META $617.65 -1.40% AMZN $256.02 -0.67%
← К новостям

GPU-стек использует ядра LLM для ускорения эмбеддингов

Perplexity описала инфраструктуру обслуживания для pplx-embed и моделей ранжирования, применяемых в Perplexity Search, Computer и API Platform. Компания сообщает, что выполнение эмбеддингов на GPU в значительной степени сошлось по подходам на зрелом оборудовании Hopper и Blackwell. Поэтому основные возможности ускорения, по оценке команды, находятся в среде выполнения и в обработке запросов.

Один движок обслуживает три сценария: пакетное построение эмбеддингов при создании или переиндексации векторной базы, онлайн-обработку коротких запросов и оценку документов после векторного поиска. Отдельный движок для эмбеддингов Perplexity не создавала, повторно используя ядра prefill и decode из стека больших языковых моделей.

Ivy — HTTP-шлюз на Rust, отвечающий за JSON, токенизацию, шаблоны входных данных, разделение крупных пакетов и балансировку частей между репликами. Tulip — интерфейс gRPC на Rust, который планирует и объединяет запросы, выбирая последовательности в порядке поступления. ROSE выполняет инференс, управляет ядрами, определениями моделей и CUDA-графами. Графы сокращают накладные расходы на запуск, а LazyTensor позволяет CPU готовить следующий пакет одновременно с обработкой текущего на GPU. Perplexity утверждает, что задержка в основном зависит от числа токенов; для модели менее миллиарда параметров насыщение наступает примерно при 512 токенах.

Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием MarkTechPost

Читать оригинал на MarkTechPost ↗

Репортаж и изображение принадлежат MarkTechPost и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости