Linkup Research випустила розріджений енкодер SPARSEUP на 149 млн параметрів
Linkup Research випустила SPARSEUP — модель із відкритим кодом для навчених розріджених embedding-представлень. Вона працює на основі ModernBERT зі 149 млн параметрів і поширюється за ліцензією Apache 2.0. Ваги опубліковано в Hugging Face; модель можна завантажувати через Transformers або Sentence Transformers із параметром trust_remote_code=True. На відміну від щільних моделей, SPARSEUP призначає ваги токенам словника, завдяки чому його представлення сумісні з інвертованими індексами.
Навчання починали з контрольної точки LateOn-unsupervised і виконували за допомогою контрастивного навчання. Для кожного запиту використовували сім складних негативних прикладів із пулу з 50, а також негативні приклади всередині батчу. Команда повернула початкову MLM-голову ModernBERT і додала зсув логітів, обмеження top-12 для кожної позиції та зведення варіантів регістру. У результаті кількість вихідних вимірів зменшилася приблизно з 50 000 до 34 000.
Linkup повідомляє про середній результат 56,4 nDCG@10 на BEIR-13 і називає SPARSEUP найсильнішим відомим їй публічним розрідженим енкодером із менш ніж 150 млн параметрів. За однакових основи й даних LateOn набрав 58,9, а DenseOn — 57,9. Під час пошуку через Seismic модель досягла понад 97% повноти порівняно з точним пошуком приблизно за 380 мікросекунд на запит у MS MARCO в однопотоковому режимі.
Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.