Redis представила управляемый семантический кэш для LLM-приложений
Redis представила LangCache — полностью управляемый сервис семантического кэширования для сокращения повторных обращений к большим языковым моделям. Система сопоставляет новые запросы с прежними по смыслу, а не по точному совпадению текста, и возвращает сохранённый ответ при достаточном сходстве. Redis заявляет о снижении расходов на API до 90% и об ускорении ответов при попадании в кэш до 15 раз по сравнению с новым запросом к модели.
LangCache доступна в виде публичной предварительной версии в Redis Cloud через REST API, а также предоставляет SDK для Python и JavaScript. Приложение сначала выполняет поиск в кэше. Если подходящей записи нет, оно обращается к выбранной LLM и сохраняет новый запрос с ответом. Сервис генерирует embeddings и поддерживает пороги сходства, TTL, политики вытеснения и адаптивные настройки. Решение рассчитано на работу с любым поставщиком LLM и языком программирования.
В демонстрации прямой вызов модели занял 2.232 секунды и использовал 514 входных и 250 выходных токенов. Кэшированный ответ был получен за 0.37 секунды без использования токенов LLM. Итоговая эффективность зависит от характера трафика; Redis также указывает на необходимость контроля ошибочных совпадений, сроков хранения и изоляции данных разных клиентов.
Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.