GPU-стек использует ядра LLM для ускорения эмбеддингов
Perplexity описала инфраструктуру обслуживания для pplx-embed и моделей ранжирования, применяемых в Perplexity Search, Computer и API Platform. Компания сообщает, что выполнение эмбеддингов на GPU в значительной степени сошлось по подходам на зрелом оборудовании Hopper и Blackwell. Поэтому основные возможности ускорения, по оценке команды, находятся в среде выполнения и в обработке запросов.
Один движок обслуживает три сценария: пакетное построение эмбеддингов при создании или переиндексации векторной базы, онлайн-обработку коротких запросов и оценку документов после векторного поиска. Отдельный движок для эмбеддингов Perplexity не создавала, повторно используя ядра prefill и decode из стека больших языковых моделей.
Ivy — HTTP-шлюз на Rust, отвечающий за JSON, токенизацию, шаблоны входных данных, разделение крупных пакетов и балансировку частей между репликами. Tulip — интерфейс gRPC на Rust, который планирует и объединяет запросы, выбирая последовательности в порядке поступления. ROSE выполняет инференс, управляет ядрами, определениями моделей и CUDA-графами. Графы сокращают накладные расходы на запуск, а LazyTensor позволяет CPU готовить следующий пакет одновременно с обработкой текущего на GPU. Perplexity утверждает, что задержка в основном зависит от числа токенов; для модели менее миллиарда параметров насыщение наступает примерно при 512 токенах.
Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.