Sakhanda Wire
NVDA $153.81 -1.49% MSFT $505.73 -2.37% GOOGL $280.00 -1.31% META $619.84 -1.05% AMZN $257.52 -0.09%
← До новин

Бенчмарк порівняв пошукові API для ШІ-агентів

Artificial Analysis представила Search Index — бенчмарк для оцінювання пошукових API, які використовують ШІ-агенти. Він враховує якість відповідей, вартість і швидкість. До першого порівняння увійшли Parallel, Exa, Firecrawl, You.com, Tavily, Keenable і Brave. Усі сервіси тестували з тією самою моделлю GPT-5.6 Luna у стандартизованій конфігурації агента на базі відкритого фреймворку Stirrup від Artificial Analysis. Для кожного завдання агент мав 25 спроб знайти інформацію та завантажити вебсторінки.

Індекс порівну поєднує три тести: DeepSearchQA із 900 дослідницькими запитаннями, 200 складних запитань BrowseComp, що потребують багатоетапного перегляду, і 600 запитань AA-Omniscience із шести галузей знань. Модель без пошуку набрала 33 бали, а результати сервісів становили від 65 до 75. Parallel отримав 75 балів, Exa — 74, а Firecrawl — 73.

За даними Artificial Analysis, якісніший пошук може зменшувати загальні витрати, оскільки агент використовує менше токенів. У Parallel Search (advanced) їхнє використання скоротилося більш ніж на 40% проти Basic, а загальна ціна завдання становила $0.084 замість $0.11. Parallel, Firecrawl і Parallel (turbo) названо сервісами з найкращим поєднанням вартості та результативності. Методологія доступна публічно, а інші постачальники можуть подати заявку.

Текст підготовлено ШІ Sakhanda Wire за матеріалом The Decoder. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням The Decoder

Читати оригінал на The Decoder ↗

Репортаж і зображення належать The Decoder і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини