Cohere пуска Rerank 5 с фокус върху контекста на ниво откъс и калибрирани оценки

Cohere AI пусна Rerank 5, ново семейство reranker модели в нивата Pro и Fast. Cohere Rerank 5 е модел за извличане, който пренарежда резултатите от търсенето, преди те да достигнат до LLM. Той добавя 2 функции за разработчици: Context Focus, която връща релевантни пасажи във всеки документ, и калибрирани оценки за релевантност. За създателите на RAG системи и агенти посланието е просто. Изпращайте към LLM по-малко, но по-качествени токени.

Накратко

• Размер: Броят на параметрите не е обявен. Контекстен прозорец от 32K токена. Две нива: rerank-v5.0-pro и rerank-v5.0-fast.
• Работи на: Хостван API, Model Vault, Microsoft Foundry, Amazon SageMaker или частен VPC и локална инфраструктура. Cohere измерва скоростта на един NVIDIA A100. Няма отворени тегла или квантизирани версии.
• Производителност: Pro заема първо място в 39 от 46 съставни набора от данни в собствената оценка на Cohere.
• Най-добър резултат: Pro постига 82.2 на BRIGHT (RCP-nDCG@10), с 5.8 точки повече от Voyage AI Rerank 3.
• Най-слаб резултат: Медианната латентност на Pro е 11.7 s за заявка с 96 документа спрямо 4.1 s за Fast.

Какво ново предлага Cohere Rerank 5?

Rerank 5 се предлага като два модела. Pro е насочен към качеството на класирането при заявки, изискващи разсъждение, и дълги, специфични за дадена област документи. Fast е насочен към ниска латентност и висока пропускателна способност за агенти, които извършват много търсения.

И двата модела поддържат над 100 езика и контекстен прозорец от 32K. Те също така пренареждат полуструктурирани данни като JSON, таблици и YAML записи. Надграждането не изисква повторно индексиране. Разработчиците променят параметъра model и запазват съществуващото си търсене по ключови думи, векторно или хибридно търсене.

Как работи Context Focus?

Context Focus е незадължителна функция, изключена по подразбиране. Едно извикване на Rerank връща оценки на документите плюс оценени диапазони от символи. Всеки диапазон съдържа отмествания start и end в оригиналния текст. Разработчиците я задават чрез полето relevant_spans със стойности за threshold и max_spans.

Cohere я тества върху 30 QA набора от данни. Премахването на половината от извлечения текст запазва 96% от качеството на отговорите. Премахването на три четвърти запазва 87%. Cohere посочва, че екипите могат да намалят контекста до 10 пъти, с известна загуба на качество.

При тест на агент за търсене върху 17 набора от данни BM25 самостоятелно постига 46% точност. Добавянето на Rerank 5 Pro я повишава до 49%. Context Focus с прага по подразбиране 0.1 намалява токените на задача с 19% и достига 57%. При 0.4 токените намаляват с 34%, а точността достига 58%. Спрямо BM25 самостоятелно целият стек използва с 35% по-малко токени. При 6 бенчмарка за задълбочено търсене токените намаляват с 41%, а точността се повишава от 39% на 52%.

Какво променят калибрираните оценки за релевантност?

Оценките на Rerank 5 се интерпретират като вероятности. Оценка 0.7 означава 70% вероятност документът да е полезен.

Екипът на Cohere измерва очакваната грешка при калибриране (ECE) спрямо оценки от анонимни човешки проверяващи и оценители от NIST TREC-DL. Rerank 5 постига около 0.06 и при двата показателя. Voyage AI Rerank 3 постига 0.234 и 0.307. Rerank 4 Pro постига 0.384 и 0.309. На практика екипите за разработка могат да филтрират по праг вместо по фиксиран top-k. Агентът може също да установи кога не е върнат нищо релевантно.

Как се представя Rerank 5 на бенчмарковете?

Всички оценки по-долу са заявени от Cohere с помощта на RCP-nDCG@10, вариант на nDCG, разработен от Cohere. Cohere сама е изпълнила тестовете на конкурентните модели.

Pro води и в четирите основни бенчмарка. Той постига 92.2 на ViDoRe V3, 90.4 на BEIR, 82.2 на BRIGHT и 87.3 на nanoMTEB. BRIGHT показва най-големия скок: 12.4 точки над Rerank 4 Pro.

Fast изпреварва Voyage AI Rerank 3 Lite, Qwen3-Reranker-8B и Rerank 4 Pro и в четирите показателя. Той се изравнява с Voyage AI Rerank 3 на ViDoRe V3 с резултат 90.6. Изостава от него на BEIR — 88.1 спрямо 88.6.

При анализирани PDF файлове, осреднено върху 47 набора от данни, Pro постига 89.9, а Fast — 88.5. Voyage AI Rerank 3 постига 88.4. Pro заема първо място в 14 от 19 неанглийски езика във вътрешния набор на Cohere.

Как се сравнява Rerank 5 с конкурентните reranker модели?

Функция	Cohere Rerank 5 Pro	Cohere Rerank 5 Fast	Voyage AI rerank-3	Voyage AI rerank-3-lite	Qwen3-Reranker-8B
Параметри	Не е обявено	Не е обявено	Не е обявено	Не е обявено	8B
Контекстен прозорец	32K	32K	32,000	32,000	32K
Езици	100+	100+	Не е обявено	Не е обявено	100+
Лиценз / достъп	Собственически API, VPC, локална инфраструктура	Собственически API, VPC, локална инфраструктура	Собственически API	Собственически API	Отворени тегла по Apache 2.0
Цена на API за 1 млн. токена	$0.05	$0.02	$0.05	$0.02	Хостван самостоятелно
Извличане на пасажи	Context Focus	Context Focus	Не е обявено	Не е обявено	Не е обявено
BRIGHT*	82.2	77.5	76.4	69.4	69.8
ViDoRe V3*	92.2	90.6	90.6	87.9	85.1
BEIR*	90.4	88.1	88.6	86.1	83.8
nanoMTEB*	87.3	85.1	83.9	80.7	82.1
ECE, човешки оценители* (по-ниското е по-добре)	0.058	0.058	0.234	0.226	Не е обявено

*Оценките са RCP-nDCG@10 или ECE от публикацията на Cohere за Rerank 5, измерени от Cohere. Не са независимо проверени.

Как разработчиците могат да внедрят Rerank 5?

Rerank 5 е общодостъпен чрез Cohere API и Model Vault. Той работи и в Microsoft Foundry (Pro, Fast) и Amazon SageMaker (Pro, Fast). Достъпен е и за всички потребители на North. Цената на API е $0.05 за 1 млн. токена за Pro и $0.02 за Fast. Model Vault посочва $4.00 за инстанция-час и за двете нива в своето ниво Medium.

Интеграциите включват LangChain, Haystack, Elasticsearch и Weaviate според документацията за интеграции на Cohere.

Основни изводи

• Rerank 5 се предлага във версиите Pro ($0.05) и Fast ($0.02) за 1 млн. токена, като и двете са с контекст от 32K.
• Pro постига 82.2 на BRIGHT, с 5.8 точки повече от Voyage AI Rerank 3.
• Context Focus връща оценени пасажи с 1 извикване, като намалява токените на агентите с 35% до 41%.
• Калибрираните оценки достигат ECE от около 0.06, така че 1 праг работи в различни области.
• Всички бенчмаркове са самостоятелно заявени и използват метриката RCP-nDCG@10 на Cohere.

---

Вижте официалното съобщение, промените в Rerank 5 и пълната таблица с резултатите. Всички заслуги са за изследователя на този проект. Също така, не се колебайте да ни последвате в Twitter и не забравяйте да се присъедините към нашия 150k+ ML SubReddit и да се абонирате за нашия бюлетин. Чакайте! В Telegram ли сте? Сега можете да се присъедините към нас и в Telegram.

Имате нужда от партньор за популяризиране на вашето GitHub хранилище ИЛИ страница в Hugging Face ИЛИ продуктово издание ИЛИ уебинар и т.н.? Свържете се с нас