Cohere випускає Rerank 5 із фокусом на контексті на рівні фрагментів і каліброваними оцінками
Cohere AI випустила Rerank 5, нову родину reranker-моделей у версіях Pro та Fast. Cohere Rerank 5 — це модель пошуку, яка змінює порядок результатів пошуку до того, як вони потраплять до LLM. Вона додає 2 функції для розробників: Context Focus, яка повертає релевантні фрагменти всередині кожного документа, і калібровані оцінки релевантності. Для розробників RAG та агентів повідомлення просте: надсилайте LLM менше, але якісніших токенів.
Коротко
- Розмір: Кількість параметрів не розкривається. Контекстне вікно на 32K токенів. Два рівні:
rerank-v5.0-proтаrerank-v5.0-fast. - Працює на: хостованому API, Model Vault, Microsoft Foundry, Amazon SageMaker або у приватній VPC та локально. Cohere вимірювала швидкість на одному NVIDIA A100. Відкритих ваг або квантизованих збірок немає.
- Продуктивність: Pro посідає перше місце у 39 із 46 складених наборів даних у власному оцінюванні Cohere.
- Найкращий результат: Pro отримує 82,2 на BRIGHT (RCP-nDCG@10), що на 5,8 бала вище, ніж Voyage AI Rerank 3.
- Найгірший результат: Медіанна затримка Pro становить 11,7 с на запит із 96 документами проти 4,1 с у Fast.
Що нового в Cohere Rerank 5?
Rerank 5 випускається у вигляді двох моделей. Pro орієнтована на якість ранжування складних запитів, що потребують міркувань, і довгих документів зі специфічних предметних областей. Fast орієнтована на низьку затримку та високу пропускну здатність для агентів, які виконують багато пошукових запитів.
Обидві моделі підтримують понад 100 мов і контекстне вікно на 32K токенів. Вони також повторно ранжують напівструктуровані дані, як-от JSON, таблиці та записи YAML. Для оновлення не потрібно повторно індексувати дані. Розробники змінюють параметр model і продовжують використовувати наявний пошук за ключовими словами, векторний або гібридний пошук.
Як працює Context Focus?
Context Focus — це необов’язкова функція, вимкнена за замовчуванням. Один виклик Rerank повертає оцінки документів, а також оцінені діапазони символів. Кожен діапазон містить зміщення start і end у вихідному тексті. Розробники вмикають її через поле relevant_spans, задаючи значення threshold і max_spans.
Cohere протестувала її на 30 наборах даних QA. Видалення половини отриманого тексту зберегло 96% якості відповідей. Видалення трьох чвертей зберегло 87%. Cohere стверджує, що команди можуть скоротити контекст у 10 разів, погодившись на певне зниження якості.
У тесті пошукового агента на 17 наборах даних BM25 самостійно показав точність 46%. Додавання Rerank 5 Pro підвищило її до 49%. Context Focus зі стандартним порогом 0,1 скоротив кількість токенів на завдання на 19% і досяг 57% точності. За значення 0,4 кількість токенів зменшилася на 34%, а точність досягла 58%. Порівняно з одним лише BM25, повний стек використовував на 35% менше токенів. На 6 тестах глибокого пошуку кількість токенів зменшилася на 41%, а точність зросла з 39% до 52%.
Що змінюють калібровані оцінки релевантності?
Оцінки Rerank 5 читаються як імовірності. Оцінка 0,7 означає 70% імовірності того, що документ буде корисним.
Команда Cohere виміряла очікувану похибку калібрування (ECE) порівняно з оцінками анонімних людей-експертів і оцінювачів NIST TREC-DL. Rerank 5 отримує приблизно 0,06 в обох випадках. Voyage AI Rerank 3 отримує 0,234 і 0,307. Rerank 4 Pro — 0,384 і 0,309. На практиці команди розробників можуть фільтрувати за порогом, а не за фіксованим top-k. Агент також може визначити, коли не було знайдено нічого релевантного.
Як Rerank 5 показує себе на тестах?
Усі наведені нижче оцінки надані самою Cohere з використанням RCP-nDCG@10 — розробленого Cohere варіанта nDCG. Cohere самостійно запускала моделі конкурентів.
Pro лідирує на всіх чотирьох основних тестах. Вона отримує 92,2 на ViDoRe V3, 90,4 на BEIR, 82,2 на BRIGHT і 87,3 на nanoMTEB. Найбільший стрибок демонструє BRIGHT: на 12,4 бала більше, ніж Rerank 4 Pro.
Fast перевершує Voyage AI Rerank 3 Lite, Qwen3-Reranker-8B і Rerank 4 Pro на всіх 4 тестах. Вона зрівнюється з Voyage AI Rerank 3 на ViDoRe V3 — 90,6. На BEIR вона поступається: 88,1 проти 88,6.
На розібраних PDF, усереднених за 47 наборами даних, Pro отримує 89,9, а Fast — 88,5. Voyage AI Rerank 3 отримує 88,4. Pro посідає перше місце у 14 із 19 неангломовних мов у внутрішньому наборі тестів Cohere.
Як Rerank 5 порівнюється з конкуруючими reranker-моделями?
| Функція | Cohere Rerank 5 Pro | Cohere Rerank 5 Fast | Voyage AI rerank-3 | Voyage AI rerank-3-lite | Qwen3-Reranker-8B |
|---|---|---|---|---|---|
| Параметри | Не розкривається | Не розкривається | Не розкривається | Не розкривається | 8B |
| Контекстне вікно | 32K | 32K | 32 000 | 32 000 | 32K |
| Мови | 100+ | 100+ | Не розкривається | Не розкривається | 100+ |
| Ліцензія / доступ | Пропрієтарний API, VPC, локальне розгортання | Пропрієтарний API, VPC, локальне розгортання | Пропрієтарний API | Пропрієтарний API | Відкриті ваги Apache 2.0 |
| Ціна API за 1 млн токенів | $0,05 | $0,02 | $0,05 | $0,02 | Самостійний хостинг |
| Виділення фрагментів | Context Focus | Context Focus | Не розкривається | Не розкривається | Не розкривається |
| BRIGHT* | 82,2 | 77,5 | 76,4 | 69,4 | 69,8 |
| ViDoRe V3* | 92,2 | 90,6 | 90,6 | 87,9 | 85,1 |
| BEIR* | 90,4 | 88,1 | 88,6 | 86,1 | 83,8 |
| nanoMTEB* | 87,3 | 85,1 | 83,9 | 80,7 | 82,1 |
| ECE, оцінки людей* (менше — краще) | 0,058 | 0,058 | 0,234 | 0,226 | Не розкривається |
*Оцінки — це RCP-nDCG@10 або ECE з публікації Cohere про Rerank 5, виміряні Cohere. Незалежно не перевірялися.
Як розробники можуть розгорнути Rerank 5?
Rerank 5 загальнодоступна в API Cohere та Model Vault. Вона також працює в Microsoft Foundry (Pro, Fast) і Amazon SageMaker (Pro, Fast). Вона також доступна всім користувачам North. Ціна API становить $0,05 за 1 млн токенів для Pro і $0,02 для Fast. У Model Vault вказано $4,00 за годину роботи екземпляра для обох рівнів на рівні Medium.
Інтеграції включають LangChain, Haystack, Elasticsearch і Weaviate, згідно з документацією Cohere щодо інтеграцій.
Основні висновки
- Rerank 5 доступна у версіях Pro ($0,05) і Fast ($0,02) за 1 млн токенів, обидві з контекстом 32K.
- Pro отримує 82,2 на BRIGHT, що на 5,8 бала вище, ніж Voyage AI Rerank 3.
- Context Focus повертає оцінені фрагменти за 1 виклик, скорочуючи кількість токенів агентів на 35–41%.
- Калібровані оцінки досягають приблизно 0,06 ECE, тож 1 поріг працює в різних предметних областях.
- Усі результати тестів надані самою Cohere за її метрикою RCP-nDCG@10.
Ознайомтеся з офіційним оголошенням, журналом змін Rerank 5 і повною таблицею результатів. Уся подяка належить досліднику цього проєкту. Також не соромтеся стежити за нами у Twitter і не забудьте приєднатися до нашого ML SubReddit із понад 150 тисячами учасників та підписатися на наш інформаційний бюлетень. Стривайте! Ви є в Telegram? Тепер ви також можете приєднатися до нас у Telegram.
Потрібно співпрацювати з нами для просування вашого репозиторію GitHub АБО сторінки Hugging Face АБО випуску продукту АБО вебінару тощо? Зв’яжіться з нами
Перекладено автоматично з англійської. Оригінал статті — за посиланням нижче.