Нов бенчмарк класира API за търсене за AI агенти по качество, цена и скорост

Artificial Analysis публикува „Search Index“ — бенчмарк, който измерва доколко добре доставчиците на API за търсене работят с AI агенти по отношение на качество, цена и бързина.

Първоначалният списък включва Parallel, Exa, Firecrawl, You.com, Tavily, Keenable и Brave. Всеки от тях се тества с един и същ модел (GPT-5.6 Luna) в стандартизирана конфигурация на агент. Променя се единствено доставчикът на търсене. Агентът работи върху Stirrup, рамка с отворен код от Artificial Analysis, и получава 25 опита за всяка задача, за да търси и зарежда уеб страници.

Индексът обединява три бенчмарка с еднаква тежест. DeepSearchQA включва 900 изследователски въпроса, всеки от които изисква множество заявки за търсене. Подмножество на BrowseComp тества 200 трудно откриваеми факта, които изискват многостъпково сърфиране. AA-Omniscience обхваща 600 въпроса в шест области на знанието. Базова версия без инструменти, при която моделът отговаря самостоятелно, служи като отправна точка за сравнение.

По-високото качество на търсенето също намалява общите разходи. Моделът използва по-малко токени, когато получава добри резултати още в началото. При Parallel Search (advanced) използването на токени спада с над 40 процента в сравнение с Basic. Разходите за търсене на задача се увеличават, но общата цена е по-ниска ($0.084 спрямо $0.11).

Суровата скорост на заявка не винаги означава по-бързи резултати като цяло. Parallel Search (turbo) отчита най-краткото време за отговор на заявка (0.51 секунди спрямо 1.03 секунди при Basic), но по-ниското му качество (67 спрямо 73) принуждава агента да изпълнява повече итерации. Общото време за задача в крайна сметка е приблизително същото.

Artificial Analysis посочва, че Parallel, Firecrawl и Parallel (turbo) постигат най-добрия баланс между цена и производителност. Други доставчици могат да кандидатстват за участие в бенчмарка. Пълната методология е публична.

AI новини без сензация – подбрани от хора

Абонирайте се за THE DECODER и получете четене без реклами, седмичен AI бюлетин, нашия ексклузивен шест пъти годишно доклад за водещите разработки „AI Radar“, пълен достъп до архива и достъп до секцията за коментари.