Sakhanda Wire
NVDA $153.64 -1.60% MSFT $506.98 -2.13% GOOGL $279.95 -1.33% META $620.09 -1.01% AMZN $256.57 -0.46%
← Към новините

Redis представи управляван семантичен кеш за LLM приложения

Redis представи LangCache — напълно управлявана услуга за семантично кеширане, предназначена да намалява повтарящите се заявки към големи езикови модели. Тя сравнява новите подканвания с предишни заявки по смисъл, а не по точно съвпадение на текста, и връща запазения отговор, ако сходството премине зададения праг. Redis посочва възможно намаляване на разходите за API до 90% и до 15 пъти по-бързи отговори при попадение в кеша.

LangCache е достъпен като публична предварителна версия в Redis Cloud чрез REST API, с SDK пакети за Python и JavaScript. Приложението първо търси в кеша, а при липса на съвпадение извиква избрания LLM и запазва новите подканване и отговор. Услугата управлява генерирането на embeddings и предлага прагове за сходство, TTL, политики за изчистване и адаптивни настройки. Тя работи с всеки доставчик на LLM и програмен език.

В демонстрация директното извеждане от модела е отнело 2.232 секунди и е използвало 514 входни и 250 изходни токена. Кешираният отговор е отнел 0.37 секунди без LLM токени. Реалните резултати зависят от трафика и изискват наблюдение за грешни съвпадения, подходящо изтичане на данните и изолация между клиентите.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от MarkTechPost на

Прочетете оригинала в MarkTechPost ↗

Репортажът и изображението принадлежат на MarkTechPost и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини