Sakhanda Wire
NVDA $152.18 -2.54% MSFT $505.66 -2.38% GOOGL $279.68 -1.43% META $617.65 -1.40% AMZN $256.02 -0.67%
← К новостям

Sentence Transformers v6.0 получил многовекторный поиск в стиле ColBERT

В Sentence Transformers v6.0 появился MultiVectorEncoder — четвёртый тип модели для поиска с поздним взаимодействием в стиле ColBERT. Библиотека также работает с плотными, разреженными моделями и reranker-моделями для семантического поиска и retrieval-augmented generation. MultiVectorEncoder напрямую загружает чекпойнты PyLate и Stanford-NLP ColBERT, а модели семейства ColPali доступны для визуального поиска по документам через тот же интерфейс.

В отличие от обычной embedding-модели, сжимающей документ в один вектор, многовекторная модель хранит отдельный проецированный вектор для каждого токена. Во время оценки оператор MaxSim выбирает для каждого токена запроса наиболее близкий токен документа и суммирует эти значения. Такой подход сохраняет точные совпадения и отдельные элементы сложного запроса, однако заметно увеличивает индекс.

В примере с Natural Questions 4 874 фрагмента дали 608 414 токенных векторов размерностью 128; в формате float32 они занимали 311,5 MB. После сжатия индекс fast-plaid занимал 92 MB. Установить поддержку можно через pip. Sentence Transformers v6.0 требует transformers v5.x, torch 2.2+ и huggingface-hub v1.x; для визуального поиска в стиле ColPali дополнительно нужны зависимости для изображений.

Текст подготовлен ИИ Sakhanda Wire по материалу Hugging Face. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием Hugging Face

Читать оригинал на Hugging Face ↗

Репортаж и изображение принадлежат Hugging Face и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости