Sakhanda Wire
NVDA $154.51 -1.04% MSFT $506.49 -2.22% GOOGL $281.27 -0.86% META $621.51 -0.78% AMZN $256.90 -0.33%
← Към новините

Обучение с отчитане на обединяването подобрява компресираното търсене

Многовекторните модели за вграждане представят документа с отделни контекстуални вектори за неговите токени. Това позволява различни думи от заявката да намират съответствия в различни части на документа, но увеличава изискванията за съхранение. Обединяването на токени намалява разхода, като слива сходни вектори. HierarchicalTokenPooling използва йерархично клъстеризиране по метода на Ward и представя всяка група със средния ѝ вектор.

При pool_factor=4 обикновено обученият модел запазва 94.6% от нереализирания чрез обединяване резултат NanoBEIR nDCG@10, като намалява четирикратно броя на векторите за документи. Обучението с отчитане на обединяването повишава запазеното качество до 97.8% при същия бюджет за съхранение. То добавя загуба за извличане върху първоначалните представяния и втора загуба след обединяването, след което осреднява резултатите.

Методът използва straight-through estimator, за да предаде грешките от обединените вектори към общия енкодер, без да диференцира решенията за клъстерите. Sentence Transformers предлага MultiVectorTokenPoolingLoss за тази конфигурация. Компресията може да се задава и чрез max_tokens или праг на разстоянието, калибриран за желан среден брой вектори. Публикацията включва код за възпроизвеждане, ускорение с ядра и примери за оценяване.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на Hugging Face. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от Hugging Face на

Прочетете оригинала в Hugging Face ↗

Репортажът и изображението принадлежат на Hugging Face и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини