Дослідники Стенфорда випустили Memorilla для заморожених LLM
Дослідники Стенфордського університету представили Memorilla — систему з відкритим кодом для роботи заморожених великих мовних моделей із великими наборами документів. Вона стискає колекцію до 16 навчених токенів пам’яті, які додаються до запиту для Qwen3-8B. Енкодер Qwen3-Embedding-4B і декодер залишаються незмінними, тоді як навчається модуль на 194 123 776 параметрів.
На FactKG команда повідомила про точність 84,33% для Memorilla проти 80,43% за використання всіх документів у контексті, причому потрібно було в 108 разів менше токенів документів. Середній показник на восьми тестах становив 49,68, а найкращий результат отримано на п’яти з них. На PersonaMem-v2 система досягла 44,60%. На PubMedQA її результат склав 59,00%, що нижче за 69,00% у LLMLingua-2.
Код, рецепти навчання та контрольні точки опубліковано за ліцензією Apache 2.0. Для запуску потрібні Linux, CUDA і Python 3.11; швидкий старт розрахований на один GPU із 80 ГБ пам’яті. Повне навчання тривало близько 19 годин на чотирьох H100. На одному H100 відповідь для 512 документів займала 0,74 секунди, а повний контекст — 19,9 секунди.
Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.