Sakhanda Wire
NVDA $153.32 -1.81% MSFT $505.84 -2.35% GOOGL $280.31 -1.20% META $621.44 -0.79% AMZN $257.31 -0.17%
← К новостям

Linkup Research выпустила разреженный энкодер SPARSEUP на 149 млн параметров

Linkup Research выпустила SPARSEUP — модель с открытым исходным кодом для обучения разреженных эмбеддингов. Она использует 149-миллионный ModernBERT и распространяется по лицензии Apache 2.0. Веса опубликованы на Hugging Face; загрузка поддерживается через Transformers и Sentence Transformers с параметром trust_remote_code=True. В отличие от плотных моделей, SPARSEUP назначает веса токенам словаря, поэтому его представления можно индексировать инвертированными индексами и связывать с понятными словами.

Обучение началось с контрольной точки LateOn-unsupervised и проводилось только с контрастивным обучением. Для каждого запроса использовались семь сложных негативных примеров из пула из 50, а также негативные примеры внутри батча. Команда восстановила исходную MLM-голову ModernBERT и добавила сдвиг логитов, ограничение top-12 для каждой позиции и объединение вариантов регистра. Это сократило число выходных измерений примерно с 50 000 до 34 000.

По данным Linkup, SPARSEUP получил средний результат 56,4 nDCG@10 на BEIR-13. Компания называет его самым сильным известным ей публичным разреженным энкодером с менее чем 150 млн параметров. При одинаковых основе и данных LateOn набрал 58,9, а DenseOn — 57,9. В Seismic модель обеспечила более 97% полноты относительно точного поиска примерно за 380 микросекунд на запрос в MS MARCO при однопоточном тестировании.

Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием MarkTechPost

Читать оригинал на MarkTechPost ↗

Репортаж и изображение принадлежат MarkTechPost и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости