Бенчмарк сравнява търсачки за AI агенти
Artificial Analysis представи Search Index — бенчмарк, който оценява API услугите за търсене за AI агенти по качество, цена и скорост. Първоначалното сравнение обхваща Parallel, Exa, Firecrawl, You.com, Tavily, Keenable и Brave. Всички са тествани с един и същ модел, GPT-5.6 Luna, в стандартизирана конфигурация на агент, работеща върху отворената рамка Stirrup на Artificial Analysis. За всяка задача агентът е получил 25 опита да търси и извлича уеб страници.
Индексът обединява с еднаква тежест три теста: DeepSearchQA с 900 изследователски въпроса, 200 трудни въпроса от BrowseComp, изискващи търсене на няколко стъпки, и 600 въпроса от AA-Omniscience в шест области на знанието. Моделът без достъп до търсене е получил 33 точки, а резултатите с различните услуги са между 65 и 75. Parallel е начело със 75 точки, следван от Exa със 74 и Firecrawl със 73.
Според Artificial Analysis по-добрите резултати от търсенето могат да намалят общите разходи, тъй като агентът използва по-малко токени. Parallel Search (advanced) намалява употребата им с над 40% спрямо Basic, а общата цена на задача е $0.084 вместо $0.11. Parallel, Firecrawl и Parallel (turbo) са посочени като най-добрия баланс между цена и резултатност. Методологията е публична, а други доставчици могат да кандидатстват за участие.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на The Decoder. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.