Linkup Research выпустила разреженный энкодер SPARSEUP на 149 млн параметров
Linkup Research выпустила SPARSEUP — модель с открытым исходным кодом для обучения разреженных эмбеддингов. Она использует 149-миллионный ModernBERT и распространяется по лицензии Apache 2.0. Веса опубликованы на Hugging Face; загрузка поддерживается через Transformers и Sentence Transformers с параметром trust_remote_code=True. В отличие от плотных моделей, SPARSEUP назначает веса токенам словаря, поэтому его представления можно индексировать инвертированными индексами и связывать с понятными словами.
Обучение началось с контрольной точки LateOn-unsupervised и проводилось только с контрастивным обучением. Для каждого запроса использовались семь сложных негативных примеров из пула из 50, а также негативные примеры внутри батча. Команда восстановила исходную MLM-голову ModernBERT и добавила сдвиг логитов, ограничение top-12 для каждой позиции и объединение вариантов регистра. Это сократило число выходных измерений примерно с 50 000 до 34 000.
По данным Linkup, SPARSEUP получил средний результат 56,4 nDCG@10 на BEIR-13. Компания называет его самым сильным известным ей публичным разреженным энкодером с менее чем 150 млн параметров. При одинаковых основе и данных LateOn набрал 58,9, а DenseOn — 57,9. В Seismic модель обеспечила более 97% полноты относительно точного поиска примерно за 380 микросекунд на запрос в MS MARCO при однопоточном тестировании.
Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.