Sentence Transformers v6.0 получил многовекторный поиск в стиле ColBERT
В Sentence Transformers v6.0 появился MultiVectorEncoder — четвёртый тип модели для поиска с поздним взаимодействием в стиле ColBERT. Библиотека также работает с плотными, разреженными моделями и reranker-моделями для семантического поиска и retrieval-augmented generation. MultiVectorEncoder напрямую загружает чекпойнты PyLate и Stanford-NLP ColBERT, а модели семейства ColPali доступны для визуального поиска по документам через тот же интерфейс.
В отличие от обычной embedding-модели, сжимающей документ в один вектор, многовекторная модель хранит отдельный проецированный вектор для каждого токена. Во время оценки оператор MaxSim выбирает для каждого токена запроса наиболее близкий токен документа и суммирует эти значения. Такой подход сохраняет точные совпадения и отдельные элементы сложного запроса, однако заметно увеличивает индекс.
В примере с Natural Questions 4 874 фрагмента дали 608 414 токенных векторов размерностью 128; в формате float32 они занимали 311,5 MB. После сжатия индекс fast-plaid занимал 92 MB. Установить поддержку можно через pip. Sentence Transformers v6.0 требует transformers v5.x, torch 2.2+ и huggingface-hub v1.x; для визуального поиска в стиле ColPali дополнительно нужны зависимости для изображений.
Текст подготовлен ИИ Sakhanda Wire по материалу Hugging Face. Факты, цитаты и полный контекст — в оригинальной статье ниже.