Sakhanda Wire
NVDA $153.32 -1.81% MSFT $505.84 -2.35% GOOGL $280.31 -1.20% META $621.44 -0.79% AMZN $257.31 -0.17%
← Към новините

Linkup Research представи разредения енкодер SPARSEUP с 149 млн. параметъра

Linkup Research представи SPARSEUP — модел с отворен код за научени разредени вграждания, изграден върху ModernBERT с 149 млн. параметъра. Моделът се разпространява под лиценза Apache 2.0, а теглата му са достъпни в Hugging Face. Той може да се зарежда чрез Transformers или Sentence Transformers с включен параметър trust_remote_code=True. За разлика от плътните модели, SPARSEUP разпределя тегла по токени от речника, което позволява използване на обърнати индекси.

Обучението започва от контролна точка LateOn-unsupervised и използва контрастивно обучение, седем трудни отрицателни примера за всяка заявка и отрицателни примери в рамките на партидата. Екипът е върнал оригиналната MLM глава на ModernBERT и е добавил изместване на логитите, top-12 ограничение за всяка входна позиция и обединяване на различните регистри. Така изходните измерения намаляват от около 50 000 до приблизително 34 000.

Linkup съобщава среден резултат 56,4 nDCG@10 на BEIR-13 и го определя като най-силния публичен разреден енкодер под 150 млн. параметъра, познат на екипа. При еднакви гръбнак и данни SPARSEUP изостава от LateOn с 58,9 и DenseOn с 57,9. При търсене чрез Seismic моделът постига над 97% recall спрямо точното търсене за около 380 микросекунди на заявка в MS MARCO.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от MarkTechPost на

Прочетете оригинала в MarkTechPost ↗

Репортажът и изображението принадлежат на MarkTechPost и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини