Linkup Research представи разредения енкодер SPARSEUP с 149 млн. параметъра
Linkup Research представи SPARSEUP — модел с отворен код за научени разредени вграждания, изграден върху ModernBERT с 149 млн. параметъра. Моделът се разпространява под лиценза Apache 2.0, а теглата му са достъпни в Hugging Face. Той може да се зарежда чрез Transformers или Sentence Transformers с включен параметър trust_remote_code=True. За разлика от плътните модели, SPARSEUP разпределя тегла по токени от речника, което позволява използване на обърнати индекси.
Обучението започва от контролна точка LateOn-unsupervised и използва контрастивно обучение, седем трудни отрицателни примера за всяка заявка и отрицателни примери в рамките на партидата. Екипът е върнал оригиналната MLM глава на ModernBERT и е добавил изместване на логитите, top-12 ограничение за всяка входна позиция и обединяване на различните регистри. Така изходните измерения намаляват от около 50 000 до приблизително 34 000.
Linkup съобщава среден резултат 56,4 nDCG@10 на BEIR-13 и го определя като най-силния публичен разреден енкодер под 150 млн. параметъра, познат на екипа. При еднакви гръбнак и данни SPARSEUP изостава от LateOn с 58,9 и DenseOn с 57,9. При търсене чрез Seismic моделът постига над 97% recall спрямо точното търсене за около 380 микросекунди на заявка в MS MARCO.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.