Бенчмарк сравнил поисковые API для ИИ-агентов
Artificial Analysis представила Search Index — бенчмарк для оценки поисковых API, используемых ИИ-агентами. Он учитывает качество ответов, стоимость и скорость. В первый набор вошли Parallel, Exa, Firecrawl, You.com, Tavily, Keenable и Brave. Все сервисы проверяли на одной модели, GPT-5.6 Luna, в одинаковой конфигурации агента на базе открытого фреймворка Stirrup от Artificial Analysis. Для каждой задачи агенту давали 25 попыток найти информацию и открыть веб-страницы.
Индекс поровну объединяет три теста: DeepSearchQA с 900 исследовательскими вопросами, 200 сложных вопросов BrowseComp, требующих многошагового поиска, и 600 вопросов AA-Omniscience по шести областям знаний. Модель без доступа к поиску набрала 33 балла, тогда как результаты сервисов составили от 65 до 75. Parallel получил 75 баллов, Exa — 74, а Firecrawl — 73.
Artificial Analysis сообщает, что качественный поиск способен снижать общие расходы за счет меньшего числа токенов. В режиме Parallel Search (advanced) их расход оказался более чем на 40% ниже, чем в Basic, а итоговая стоимость задачи составила $0.084 против $0.11. Лучшее сочетание стоимости и результатов, по оценке компании, показали Parallel, Firecrawl и Parallel (turbo). Методика опубликована открыто; другие поставщики могут подать заявку на участие.
Текст подготовлен ИИ Sakhanda Wire по материалу The Decoder. Факты, цитаты и полный контекст — в оригинальной статье ниже.