Sakhanda Wire
NVDA $153.32 -1.81% MSFT $505.84 -2.35% GOOGL $280.31 -1.20% META $621.44 -0.79% AMZN $257.31 -0.17%
← До новин

Linkup Research випустила розріджений енкодер SPARSEUP на 149 млн параметрів

Linkup Research випустила SPARSEUP — модель із відкритим кодом для навчених розріджених embedding-представлень. Вона працює на основі ModernBERT зі 149 млн параметрів і поширюється за ліцензією Apache 2.0. Ваги опубліковано в Hugging Face; модель можна завантажувати через Transformers або Sentence Transformers із параметром trust_remote_code=True. На відміну від щільних моделей, SPARSEUP призначає ваги токенам словника, завдяки чому його представлення сумісні з інвертованими індексами.

Навчання починали з контрольної точки LateOn-unsupervised і виконували за допомогою контрастивного навчання. Для кожного запиту використовували сім складних негативних прикладів із пулу з 50, а також негативні приклади всередині батчу. Команда повернула початкову MLM-голову ModernBERT і додала зсув логітів, обмеження top-12 для кожної позиції та зведення варіантів регістру. У результаті кількість вихідних вимірів зменшилася приблизно з 50 000 до 34 000.

Linkup повідомляє про середній результат 56,4 nDCG@10 на BEIR-13 і називає SPARSEUP найсильнішим відомим їй публічним розрідженим енкодером із менш ніж 150 млн параметрів. За однакових основи й даних LateOn набрав 58,9, а DenseOn — 57,9. Під час пошуку через Seismic модель досягла понад 97% повноти порівняно з точним пошуком приблизно за 380 мікросекунд на запит у MS MARCO в однопотоковому режимі.

Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням MarkTechPost

Читати оригінал на MarkTechPost ↗

Репортаж і зображення належать MarkTechPost і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини