Бенчмарк порівняв пошукові API для ШІ-агентів
Artificial Analysis представила Search Index — бенчмарк для оцінювання пошукових API, які використовують ШІ-агенти. Він враховує якість відповідей, вартість і швидкість. До першого порівняння увійшли Parallel, Exa, Firecrawl, You.com, Tavily, Keenable і Brave. Усі сервіси тестували з тією самою моделлю GPT-5.6 Luna у стандартизованій конфігурації агента на базі відкритого фреймворку Stirrup від Artificial Analysis. Для кожного завдання агент мав 25 спроб знайти інформацію та завантажити вебсторінки.
Індекс порівну поєднує три тести: DeepSearchQA із 900 дослідницькими запитаннями, 200 складних запитань BrowseComp, що потребують багатоетапного перегляду, і 600 запитань AA-Omniscience із шести галузей знань. Модель без пошуку набрала 33 бали, а результати сервісів становили від 65 до 75. Parallel отримав 75 балів, Exa — 74, а Firecrawl — 73.
За даними Artificial Analysis, якісніший пошук може зменшувати загальні витрати, оскільки агент використовує менше токенів. У Parallel Search (advanced) їхнє використання скоротилося більш ніж на 40% проти Basic, а загальна ціна завдання становила $0.084 замість $0.11. Parallel, Firecrawl і Parallel (turbo) названо сервісами з найкращим поєднанням вартості та результативності. Методологія доступна публічно, а інші постачальники можуть подати заявку.
Текст підготовлено ШІ Sakhanda Wire за матеріалом The Decoder. Факти, цитати та повний контекст — в оригінальній статті нижче.