Redis представила керований семантичний кеш для LLM-застосунків
Redis представила LangCache — повністю керований сервіс семантичного кешування, який має зменшити кількість повторних звернень до великих мовних моделей. Система зіставляє нові запити з попередніми за змістом, а не за точним текстовим збігом, і повертає збережену відповідь, якщо схожість перевищує налаштований поріг. Redis заявляє про можливе скорочення витрат на API до 90% і до 15-кратного прискорення відповідей під час потрапляння в кеш.
LangCache доступна як публічна попередня версія в Redis Cloud через REST API, а також має SDK для Python і JavaScript. Застосунок спочатку шукає відповідь у кеші. Якщо збігу немає, він звертається до обраної LLM, а потім зберігає запит і нову відповідь. Сервіс відповідає за створення embeddings і підтримує пороги схожості, TTL, політики витіснення та адаптивні налаштування. Рішення працює з будь-яким постачальником LLM і мовою програмування.
У демонстрації прямий виклик моделі тривав 2.232 секунди та використав 514 вхідних і 250 вихідних токенів. Кешована відповідь надійшла за 0.37 секунди без токенів LLM. Фактичний результат залежить від характеру трафіку, а безпечне використання потребує контролю помилкових збігів, термінів зберігання та ізоляції даних клієнтів.
Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.