Исследователи из Стэнфорда выпустили Memorilla для замороженных LLM
Исследователи из Стэнфорда представили Memorilla — систему с открытым исходным кодом, которая позволяет замороженным большим языковым моделям работать с крупными коллекциями документов. Она сжимает коллекцию до 16 обучаемых токенов памяти, добавляемых к вопросу для Qwen3-8B. Энкодер Qwen3-Embedding-4B и декодер не изменяются, а обучается модуль из 194 123 776 параметров.
На FactKG команда сообщила о точности 84,33% для Memorilla против 80,43% при передаче всех документов в контекст, используя в 108 раз меньше документных токенов. Средний результат на восьми тестах составил 49,68, а первое место было занято на пяти из них. Лучший показатель системы — 44,60% на PersonaMem-v2. На PubMedQA результат достиг 59,00%, уступив 69,00% у LLMLingua-2.
Код, рецепты обучения и контрольные точки опубликованы по лицензии Apache 2.0. Для запуска нужны Linux, CUDA и Python 3.11; инструкция быстрого старта рассчитана на один GPU с 80 ГБ памяти. Полный процесс обучения занял около 19 часов на четырёх H100. На одном H100 ответ для 512 документов занимал 0,74 секунды, тогда как полный контекст — 19,9 секунды.
Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.