Обучение с отчитане на обединяването подобрява компресираното търсене
Многовекторните модели за вграждане представят документа с отделни контекстуални вектори за неговите токени. Това позволява различни думи от заявката да намират съответствия в различни части на документа, но увеличава изискванията за съхранение. Обединяването на токени намалява разхода, като слива сходни вектори. HierarchicalTokenPooling използва йерархично клъстеризиране по метода на Ward и представя всяка група със средния ѝ вектор.
При pool_factor=4 обикновено обученият модел запазва 94.6% от нереализирания чрез обединяване резултат NanoBEIR nDCG@10, като намалява четирикратно броя на векторите за документи. Обучението с отчитане на обединяването повишава запазеното качество до 97.8% при същия бюджет за съхранение. То добавя загуба за извличане върху първоначалните представяния и втора загуба след обединяването, след което осреднява резултатите.
Методът използва straight-through estimator, за да предаде грешките от обединените вектори към общия енкодер, без да диференцира решенията за клъстерите. Sentence Transformers предлага MultiVectorTokenPoolingLoss за тази конфигурация. Компресията може да се задава и чрез max_tokens или праг на разстоянието, калибриран за желан среден брой вектори. Публикацията включва код за възпроизвеждане, ускорение с ядра и примери за оценяване.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на Hugging Face. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.