Sakhanda Wire
NVDA $153.81 -1.49% MSFT $505.73 -2.37% GOOGL $280.00 -1.31% META $619.84 -1.05% AMZN $257.52 -0.09%
← К новостям

Бенчмарк сравнил поисковые API для ИИ-агентов

Artificial Analysis представила Search Index — бенчмарк для оценки поисковых API, используемых ИИ-агентами. Он учитывает качество ответов, стоимость и скорость. В первый набор вошли Parallel, Exa, Firecrawl, You.com, Tavily, Keenable и Brave. Все сервисы проверяли на одной модели, GPT-5.6 Luna, в одинаковой конфигурации агента на базе открытого фреймворка Stirrup от Artificial Analysis. Для каждой задачи агенту давали 25 попыток найти информацию и открыть веб-страницы.

Индекс поровну объединяет три теста: DeepSearchQA с 900 исследовательскими вопросами, 200 сложных вопросов BrowseComp, требующих многошагового поиска, и 600 вопросов AA-Omniscience по шести областям знаний. Модель без доступа к поиску набрала 33 балла, тогда как результаты сервисов составили от 65 до 75. Parallel получил 75 баллов, Exa — 74, а Firecrawl — 73.

Artificial Analysis сообщает, что качественный поиск способен снижать общие расходы за счет меньшего числа токенов. В режиме Parallel Search (advanced) их расход оказался более чем на 40% ниже, чем в Basic, а итоговая стоимость задачи составила $0.084 против $0.11. Лучшее сочетание стоимости и результатов, по оценке компании, показали Parallel, Firecrawl и Parallel (turbo). Методика опубликована открыто; другие поставщики могут подать заявку на участие.

Текст подготовлен ИИ Sakhanda Wire по материалу The Decoder. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием The Decoder

Читать оригинал на The Decoder ↗

Репортаж и изображение принадлежат The Decoder и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости