Sentence Transformers v6.0 добавя многовекторно търсене в стил ColBERT
Sentence Transformers v6.0 въвежда MultiVectorEncoder — четвърти тип модел за търсене с късно взаимодействие в стил ColBERT. Библиотеката поддържа и плътни, разредени и reranker модели за приложения като семантично търсене и retrieval-augmented generation. MultiVectorEncoder зарежда контролни точки от PyLate и Stanford-NLP ColBERT, а моделите от семейството ColPali могат да се използват за визуално търсене в документи чрез същия интерфейс.
За разлика от стандартния embedding модел, който свива целия документ до един вектор, многовекторният модел запазва отделен проектиран вектор за всеки токен. При оценяване операторът MaxSim намира най-силното съвпадение с документен токен за всеки токен от заявката и събира резултатите. Това запазва информация на ниво токен, включително точни идентификатори и отделни изисквания, но увеличава размера на индекса.
В примера с Natural Questions 4 874 пасажа създават 608 414 токенни вектора с 128 измерения, заемащи 311,5 MB във формат float32. Компресиран индекс fast-plaid намалява обема до 92 MB. Инсталацията става с pip; версия 6.0 изисква transformers v5.x, torch 2.2+ и huggingface-hub v1.x. За визуално търсене в стил ColPali са нужни и зависимости за изображения.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на Hugging Face. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.