Sakhanda Wire
NVDA $154.51 -1.04% MSFT $506.49 -2.22% GOOGL $281.27 -0.86% META $621.51 -0.78% AMZN $256.90 -0.33%
← Към новините

Учени от Станфорд представиха Memorilla за замразени езикови модели

Учени от Станфорд публикуваха Memorilla — система с отворен код, която помага на замразени големи езикови модели да използват големи колекции от документи. Тя преобразува цялата колекция в 16 обучаеми токена за памет, добавяни към въпроса към Qwen3-8B. Енкодерът Qwen3-Embedding-4B и декодерът остават замразени, а се обучава модул с 194 123 776 параметъра.

На FactKG е отчетена точност 84,33% с Memorilla спрямо 80,43%, когато всички документи са в контекста, при 108 пъти по-малко документни токени. Средната стойност за осемте посочени теста е 49,68, като системата има най-добър резултат в пет от тях. Най-високият ѝ резултат е 44,60% на PersonaMem-v2. При PubMedQA тя достига 59,00%, под резултата от 69,00% на LLMLingua-2.

Публикуването включва код, рецепти за обучение и контролни точки по Apache 2.0. Memorilla работи под Linux с CUDA и Python 3.11, а бързият старт изисква един графичен процесор с 80 GB памет. Пълното обучение е отнело около 19 часа на четири H100. При 512 документа на един H100 системата е отговорила за 0,74 секунди, срещу 19,9 секунди за пълния контекст.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от MarkTechPost на

Прочетете оригинала в MarkTechPost ↗

Репортажът и изображението принадлежат на MarkTechPost и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини