Sakhanda Wire
NVDA $153.64 -1.60% MSFT $506.98 -2.13% GOOGL $279.95 -1.33% META $620.09 -1.01% AMZN $256.57 -0.46%
← До новин

Redis представила керований семантичний кеш для LLM-застосунків

Redis представила LangCache — повністю керований сервіс семантичного кешування, який має зменшити кількість повторних звернень до великих мовних моделей. Система зіставляє нові запити з попередніми за змістом, а не за точним текстовим збігом, і повертає збережену відповідь, якщо схожість перевищує налаштований поріг. Redis заявляє про можливе скорочення витрат на API до 90% і до 15-кратного прискорення відповідей під час потрапляння в кеш.

LangCache доступна як публічна попередня версія в Redis Cloud через REST API, а також має SDK для Python і JavaScript. Застосунок спочатку шукає відповідь у кеші. Якщо збігу немає, він звертається до обраної LLM, а потім зберігає запит і нову відповідь. Сервіс відповідає за створення embeddings і підтримує пороги схожості, TTL, політики витіснення та адаптивні налаштування. Рішення працює з будь-яким постачальником LLM і мовою програмування.

У демонстрації прямий виклик моделі тривав 2.232 секунди та використав 514 вхідних і 250 вихідних токенів. Кешована відповідь надійшла за 0.37 секунди без токенів LLM. Фактичний результат залежить від характеру трафіку, а безпечне використання потребує контролю помилкових збігів, термінів зберігання та ізоляції даних клієнтів.

Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням MarkTechPost

Читати оригінал на MarkTechPost ↗

Репортаж і зображення належать MarkTechPost і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини