Cohere выпускает Rerank 5 с фокусом на контексте на уровне фрагментов и калиброванными оценками
Cohere AI выпустила Rerank 5 — новое семейство моделей reranker в версиях Pro и Fast. Cohere Rerank 5 — это модель поиска, которая меняет порядок результатов до того, как они попадут в LLM. Она добавляет 2 функции для разработчиков: Context Focus, возвращающую релевантные фрагменты внутри каждого документа, и откалиброванные оценки релевантности. Для разработчиков RAG и агентов посыл прост: отправляйте в LLM меньше, но более качественных токенов.
Кратко
- Размер: Количество параметров не раскрывается. Контекстное окно на 32 тыс. токенов. Две версии:
rerank-v5.0-proиrerank-v5.0-fast. - Запуск: Размещённый API, Model Vault, Microsoft Foundry, Amazon SageMaker, а также частные VPC и локальная инфраструктура. Cohere измеряет скорость на одной NVIDIA A100. Открытых весов и квантованных сборок нет.
- Производительность: Pro занимает первое место в 39 из 46 составных наборов данных во внутренней оценке Cohere.
- Лучший результат: Pro набирает 82,2 на BRIGHT (RCP-nDCG@10), что на 5,8 балла выше Voyage AI Rerank 3.
- Худший результат: Медианная задержка Pro составляет 11,7 с на запрос с 96 документами против 4,1 с у Fast.
Что нового в Cohere Rerank 5?
Rerank 5 представлен в виде двух моделей. Pro ориентирована на качество ранжирования при сложных запросах, требующих рассуждений, и работе с длинными специализированными документами. Fast ориентирована на низкую задержку и высокую пропускную способность для агентов, выполняющих множество поисковых запросов.
Обе модели поддерживают более 100 языков и контекстное окно на 32 тыс. токенов. Они также выполняют повторное ранжирование полуструктурированных данных, таких как JSON, таблицы и записи YAML. Для обновления не требуется повторная индексация. Разработчикам нужно изменить параметр model и сохранить существующий поиск по ключевым словам, векторный или гибридный поиск.
Как работает Context Focus?
Context Focus — необязательная функция, отключённая по умолчанию. Один вызов Rerank возвращает оценки документов и оценённые диапазоны символов. Каждый диапазон содержит смещения start и end в исходном тексте. Разработчики задают функцию через поле relevant_spans, указывая значения threshold и max_spans.
Cohere протестировала её на 30 наборах данных для вопросов и ответов. Удаление половины найденного текста сохранило 96% качества ответов. Удаление трёх четвертей сохранило 87%. По словам Cohere, команды могут сократить объём контекста в 10 раз, пожертвовав некоторым качеством.
В тесте поискового агента на 17 наборах данных одна только BM25 показала точность 46%. Добавление Rerank 5 Pro повысило её до 49%. Context Focus с порогом по умолчанию 0,1 сократил число токенов на задачу на 19% и достиг показателя 57%. При значении 0,4 количество токенов снизилось на 34%, а точность достигла 58%. По сравнению с одной BM25 полный стек использовал на 35% меньше токенов. В 6 тестах глубокого поиска количество токенов снизилось на 41%, а точность выросла с 39% до 52%.
Что меняют откалиброванные оценки релевантности?
Оценки Rerank 5 интерпретируются как вероятности. Оценка 0,7 означает 70%-ную вероятность того, что документ полезен.
Команда Cohere измерила ожидаемую ошибку калибровки (ECE) по сравнению с оценками анонимных экспертов и оценщиков NIST TREC-DL. Для Rerank 5 показатель составляет около 0,06 в обоих случаях. У Voyage AI Rerank 3 показатели равны 0,234 и 0,307. У Rerank 4 Pro — 0,384 и 0,309. На практике команды разработчиков могут фильтровать результаты по порогу, а не по фиксированному значению top-k. Агент также может определить, что релевантных результатов нет.
Как Rerank 5 показывает себя в бенчмарках?
Все приведённые ниже оценки предоставлены самой Cohere с использованием RCP-nDCG@10 — разработанного Cohere варианта nDCG. Cohere самостоятельно запускала модели конкурентов.
Pro лидирует во всех четырёх основных бенчмарках. Она набирает 92,2 на ViDoRe V3, 90,4 на BEIR, 82,2 на BRIGHT и 87,3 на nanoMTEB. На BRIGHT наблюдается наибольший прирост: 12,4 балла по сравнению с Rerank 4 Pro.
Fast превосходит Voyage AI Rerank 3 Lite, Qwen3-Reranker-8B и Rerank 4 Pro во всех 4 тестах. Она показывает одинаковый результат с Voyage AI Rerank 3 на ViDoRe V3 — 90,6. На BEIR она уступает: 88,1 против 88,6.
На разобранных PDF, в среднем по 47 наборам данных, Pro набирает 89,9, а Fast — 88,5. Voyage AI Rerank 3 набирает 88,4. Pro занимает первое место в 14 из 19 неанглоязычных языков во внутреннем наборе тестов Cohere.
Как Rerank 5 сравнивается с конкурирующими reranker?
| Характеристика | Cohere Rerank 5 Pro | Cohere Rerank 5 Fast | Voyage AI rerank-3 | Voyage AI rerank-3-lite | Qwen3-Reranker-8B |
|---|---|---|---|---|---|
| Параметры | Не раскрываются | Не раскрываются | Не раскрываются | Не раскрываются | 8B |
| Контекстное окно | 32K | 32K | 32 000 | 32 000 | 32K |
| Языки | 100+ | 100+ | Не раскрываются | Не раскрываются | 100+ |
| Лицензия / доступ | Проприетарный API, VPC, локальная инфраструктура | Проприетарный API, VPC, локальная инфраструктура | Проприетарный API | Проприетарный API | Открытые веса Apache 2.0 |
| Цена API за 1 млн токенов | $0,05 | $0,02 | $0,05 | $0,02 | Самостоятельный хостинг |
| Извлечение фрагментов | Context Focus | Context Focus | Не раскрывается | Не раскрывается | Не раскрывается |
| BRIGHT* | 82,2 | 77,5 | 76,4 | 69,4 | 69,8 |
| ViDoRe V3* | 92,2 | 90,6 | 90,6 | 87,9 | 85,1 |
| BEIR* | 90,4 | 88,1 | 88,6 | 86,1 | 83,8 |
| nanoMTEB* | 87,3 | 85,1 | 83,9 | 80,7 | 82,1 |
| ECE, оценки экспертов* (меньше — лучше) | 0,058 | 0,058 | 0,234 | 0,226 | Не раскрывается |
*Оценки представляют собой RCP-nDCG@10 или ECE из публикации Cohere о Rerank 5, измеренные Cohere. Независимо не проверялись.
Как разработчики могут развернуть Rerank 5?
Rerank 5 уже доступна в Cohere API и Model Vault. Она также работает в Microsoft Foundry (Pro, Fast) и Amazon SageMaker (Pro, Fast). Она также доступна всем пользователям North. Стоимость API составляет $0,05 за 1 млн токенов для Pro и $0,02 для Fast. В Model Vault для обеих версий на уровне Medium указана цена $4,00 за час работы экземпляра.
Согласно документации Cohere по интеграциям, поддерживаются LangChain, Haystack, Elasticsearch и Weaviate.
Основные выводы
- Rerank 5 выпускается в версиях Pro ($0,05) и Fast ($0,02) за 1 млн токенов; обе поддерживают контекст на 32 тыс. токенов.
- Pro набирает 82,2 на BRIGHT, что на 5,8 балла выше Voyage AI Rerank 3.
- Context Focus возвращает оценённые фрагменты за 1 вызов, сокращая количество токенов агентов на 35–41%.
- Откалиброванные оценки достигают примерно 0,06 ECE, поэтому 1 порог работает в разных областях.
- Все результаты бенчмарков предоставлены самой Cohere и основаны на её метрике RCP-nDCG@10.
Ознакомьтесь с официальным объявлением, журналом изменений Rerank 5 и полной таблицей результатов. Вся заслуга принадлежит исследователю этого проекта. Также подписывайтесь на нас в Twitter и не забудьте присоединиться к нашему сабреддиту по машинному обучению с аудиторией 150 тыс.+ и подписаться на нашу рассылку. Стоп! Вы есть в Telegram? теперь к нам можно присоединиться и в Telegram.
Хотите сотрудничать с нами для продвижения вашего репозитория GitHub, страницы на Hugging Face, релиза продукта, вебинара и т. д.? Свяжитесь с нами
Переведено автоматически с английского. Оригинал статьи — по ссылке ниже.