Sakhanda Wire
NVDA $153.64 -1.60% MSFT $506.98 -2.13% GOOGL $279.95 -1.33% META $620.09 -1.01% AMZN $256.57 -0.46%
← К новостям

Redis представила управляемый семантический кэш для LLM-приложений

Redis представила LangCache — полностью управляемый сервис семантического кэширования для сокращения повторных обращений к большим языковым моделям. Система сопоставляет новые запросы с прежними по смыслу, а не по точному совпадению текста, и возвращает сохранённый ответ при достаточном сходстве. Redis заявляет о снижении расходов на API до 90% и об ускорении ответов при попадании в кэш до 15 раз по сравнению с новым запросом к модели.

LangCache доступна в виде публичной предварительной версии в Redis Cloud через REST API, а также предоставляет SDK для Python и JavaScript. Приложение сначала выполняет поиск в кэше. Если подходящей записи нет, оно обращается к выбранной LLM и сохраняет новый запрос с ответом. Сервис генерирует embeddings и поддерживает пороги сходства, TTL, политики вытеснения и адаптивные настройки. Решение рассчитано на работу с любым поставщиком LLM и языком программирования.

В демонстрации прямой вызов модели занял 2.232 секунды и использовал 514 входных и 250 выходных токенов. Кэшированный ответ был получен за 0.37 секунды без использования токенов LLM. Итоговая эффективность зависит от характера трафика; Redis также указывает на необходимость контроля ошибочных совпадений, сроков хранения и изоляции данных разных клиентов.

Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием MarkTechPost

Читать оригинал на MarkTechPost ↗

Репортаж и изображение принадлежат MarkTechPost и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости