Навчання з урахуванням об’єднання покращує стиснений пошук
Багатовекторні моделі embedding представляють документ набором контекстних векторів його токенів. Завдяки цьому різні частини запиту можуть зіставлятися з різними фрагментами документа, однак обсяг збережених даних швидко зростає. Об’єднання токенів зменшує його, зливаючи подібні вектори. HierarchicalTokenPooling застосовує ієрархічну кластеризацію Ward і замінює кожну групу її середнім вектором.
За pool_factor=4 модель, навчена звичайним способом, зберегла 94.6% неп стисненого показника NanoBEIR nDCG@10, водночас зменшивши кількість векторів документів у чотири рази. Навчання з урахуванням pooling підвищило цей показник до 97.8% за такого самого бюджету зберігання. Метод поєднує дві цілі: пошук за початковими представленнями документів і пошук після їхнього стиснення, усереднюючи відповідні втрати.
Під час навчання straight-through estimator передає помилки пошуку від об’єднаних векторів до спільного енкодера, не диференціюючи рішення про формування кластерів. У Sentence Transformers для цього є MultiVectorTokenPoolingLoss. Стиснення також можна налаштовувати через max_tokens або поріг відстані, відкалібрований під потрібну середню кількість векторів. Публікація містить код для відтворення, підтримку прискорення ядрами та приклади оцінювання.
Текст підготовлено ШІ Sakhanda Wire за матеріалом Hugging Face. Факти, цитати та повний контекст — в оригінальній статті нижче.