Sakhanda Wire
NVDA $154.51 -1.04% MSFT $506.49 -2.22% GOOGL $281.27 -0.86% META $621.51 -0.78% AMZN $256.90 -0.33%
← До новин

Дослідники Стенфорда випустили Memorilla для заморожених LLM

Дослідники Стенфордського університету представили Memorilla — систему з відкритим кодом для роботи заморожених великих мовних моделей із великими наборами документів. Вона стискає колекцію до 16 навчених токенів пам’яті, які додаються до запиту для Qwen3-8B. Енкодер Qwen3-Embedding-4B і декодер залишаються незмінними, тоді як навчається модуль на 194 123 776 параметрів.

На FactKG команда повідомила про точність 84,33% для Memorilla проти 80,43% за використання всіх документів у контексті, причому потрібно було в 108 разів менше токенів документів. Середній показник на восьми тестах становив 49,68, а найкращий результат отримано на п’яти з них. На PersonaMem-v2 система досягла 44,60%. На PubMedQA її результат склав 59,00%, що нижче за 69,00% у LLMLingua-2.

Код, рецепти навчання та контрольні точки опубліковано за ліцензією Apache 2.0. Для запуску потрібні Linux, CUDA і Python 3.11; швидкий старт розрахований на один GPU із 80 ГБ пам’яті. Повне навчання тривало близько 19 годин на чотирьох H100. На одному H100 відповідь для 512 документів займала 0,74 секунди, а повний контекст — 19,9 секунди.

Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням MarkTechPost

Читати оригінал на MarkTechPost ↗

Репортаж і зображення належать MarkTechPost і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини