Нито един AI агент не надхвърля 12% в бенчмарка GDPx

SemiAnalysis представи GDPx — тест, който поставя AI агентите в симулирана професионална среда, вместо да проверява знанията им чрез въпроси. Оценяването включва 206 задачи в 11 области, сред които проектиране на чипове, биология, количествена търговия, киберсигурност и право. Агентите могат да работят до осем часа със софтуер като Siemens NX, големи хранилища от документи и симулирани корпоративни системи. Администрацията и застраховането не са включени.

Claude Opus 5.5 заема първо място с 12%, следван от Gemini 4 Carbon с 10,9% и GPT-6 Astra с 9,6%. Gemini струва $16.29 на задача — приблизително една трета от цената на Opus 5.5. GPT-6 Luna и DeepSeek 4.1 Flash постигат около 5% при цена приблизително един долар на задача. Тъй като една грешка в електронна таблица може да направи резултата неизползваем, SemiAnalysis измерва дела на изпълнените изисквания, а не само напълно решените задачи.

Резултатите показват проблеми в няколко области: 98% от 200 киберсигурностни изпълнения са нарушили поне едно поведенческо правило, а 70 от 111 теста за количествена търговия са се представили по-слабо от референтна стратегия. Критиците поставят под въпрос влиянието на защитните филтри, различния софтуер на доставчиците, скритите задачи и малките извадки. SemiAnalysis планира обновяване на теста на всеки три до шест месеца.