Redis представи управляван семантичен кеш за LLM приложения
Redis представи LangCache — напълно управлявана услуга за семантично кеширане, предназначена да намалява повтарящите се заявки към големи езикови модели. Тя сравнява новите подканвания с предишни заявки по смисъл, а не по точно съвпадение на текста, и връща запазения отговор, ако сходството премине зададения праг. Redis посочва възможно намаляване на разходите за API до 90% и до 15 пъти по-бързи отговори при попадение в кеша.
LangCache е достъпен като публична предварителна версия в Redis Cloud чрез REST API, с SDK пакети за Python и JavaScript. Приложението първо търси в кеша, а при липса на съвпадение извиква избрания LLM и запазва новите подканване и отговор. Услугата управлява генерирането на embeddings и предлага прагове за сходство, TTL, политики за изчистване и адаптивни настройки. Тя работи с всеки доставчик на LLM и програмен език.
В демонстрация директното извеждане от модела е отнело 2.232 секунди и е използвало 514 входни и 250 изходни токена. Кешираният отговор е отнел 0.37 секунди без LLM токени. Реалните резултати зависят от трафика и изискват наблюдение за грешни съвпадения, подходящо изтичане на данните и изолация между клиентите.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.