Обучение с учетом объединения повышает качество сжатого поиска
Многовекторные модели эмбеддингов представляют документ набором контекстных векторов его токенов. Благодаря этому разные элементы запроса могут сопоставляться с разными фрагментами документа, однако объем хранения быстро растет. Токен-пулинг уменьшает его, объединяя похожие векторы. HierarchicalTokenPooling применяет иерархическую кластеризацию Уорда и заменяет каждую группу ее средним вектором.
При pool_factor=4 модель, обученная обычным способом, сохранила 94.6% исходного, непулингового показателя NanoBEIR nDCG@10, сократив число векторов документов в четыре раза. Обучение с учетом пулинга повысило сохраненное качество до 97.8% при том же бюджете хранения. Для этого усредняются две цели: одна оценивает поиск по исходным представлениям документов, другая — по представлениям после сжатия.
В процессе обучения применяется straight-through estimator: ошибки поиска на объединенных векторах передаются общему энкодеру, но сами решения о принадлежности кластерам не дифференцируются. В Sentence Transformers для такой схемы предусмотрен MultiVectorTokenPoolingLoss. Управлять сжатием также можно через max_tokens или порог расстояния, настроенный на нужное среднее число векторов. В публикации приведены воспроизводимый код, ускорение с помощью ядер и примеры оценки.
Текст подготовлен ИИ Sakhanda Wire по материалу Hugging Face. Факты, цитаты и полный контекст — в оригинальной статье ниже.