Sakhanda Wire
NVDA $154.51 -1.04% MSFT $506.49 -2.22% GOOGL $281.27 -0.86% META $621.51 -0.78% AMZN $256.90 -0.33%
← К новостям

Исследователи из Стэнфорда выпустили Memorilla для замороженных LLM

Исследователи из Стэнфорда представили Memorilla — систему с открытым исходным кодом, которая позволяет замороженным большим языковым моделям работать с крупными коллекциями документов. Она сжимает коллекцию до 16 обучаемых токенов памяти, добавляемых к вопросу для Qwen3-8B. Энкодер Qwen3-Embedding-4B и декодер не изменяются, а обучается модуль из 194 123 776 параметров.

На FactKG команда сообщила о точности 84,33% для Memorilla против 80,43% при передаче всех документов в контекст, используя в 108 раз меньше документных токенов. Средний результат на восьми тестах составил 49,68, а первое место было занято на пяти из них. Лучший показатель системы — 44,60% на PersonaMem-v2. На PubMedQA результат достиг 59,00%, уступив 69,00% у LLMLingua-2.

Код, рецепты обучения и контрольные точки опубликованы по лицензии Apache 2.0. Для запуска нужны Linux, CUDA и Python 3.11; инструкция быстрого старта рассчитана на один GPU с 80 ГБ памяти. Полный процесс обучения занял около 19 часов на четырёх H100. На одном H100 ответ для 512 документов занимал 0,74 секунды, тогда как полный контекст — 19,9 секунды.

Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием MarkTechPost

Читать оригинал на MarkTechPost ↗

Репортаж и изображение принадлежат MarkTechPost и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости