Учени от Станфорд представиха Memorilla за замразени езикови модели
Учени от Станфорд публикуваха Memorilla — система с отворен код, която помага на замразени големи езикови модели да използват големи колекции от документи. Тя преобразува цялата колекция в 16 обучаеми токена за памет, добавяни към въпроса към Qwen3-8B. Енкодерът Qwen3-Embedding-4B и декодерът остават замразени, а се обучава модул с 194 123 776 параметъра.
На FactKG е отчетена точност 84,33% с Memorilla спрямо 80,43%, когато всички документи са в контекста, при 108 пъти по-малко документни токени. Средната стойност за осемте посочени теста е 49,68, като системата има най-добър резултат в пет от тях. Най-високият ѝ резултат е 44,60% на PersonaMem-v2. При PubMedQA тя достига 59,00%, под резултата от 69,00% на LLMLingua-2.
Публикуването включва код, рецепти за обучение и контролни точки по Apache 2.0. Memorilla работи под Linux с CUDA и Python 3.11, а бързият старт изисква един графичен процесор с 80 GB памет. Пълното обучение е отнело около 19 часа на четири H100. При 512 документа на един H100 системата е отговорила за 0,74 секунди, срещу 19,9 секунди за пълния контекст.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.