Ни один ИИ-агент не превысил 12% в тесте GDPx

SemiAnalysis представила GDPx — тест, в котором ИИ-агенты работают в имитируемой профессиональной среде, а не отвечают на вопросы о знаниях. Оценка включает 206 заданий в 11 областях, включая разработку чипов, биологию, количественную торговлю, кибербезопасность и право. Агентам разрешают работать до восьми часов с такими инструментами, как Siemens NX, крупные хранилища документов и имитируемые корпоративные системы. Администрирование и страхование в тест не вошли.

Claude Opus 5.5 занял первое место с результатом 12%, за ним следуют Gemini 4 Carbon с 10,9% и GPT-6 Astra с 9,6%. Стоимость Gemini составляет $16.29 за задание — примерно треть цены Opus 5.5. GPT-6 Luna и DeepSeek 4.1 Flash набрали около 5% при стоимости примерно один доллар за задание. Поскольку одна ошибка в таблице может сделать результат непригодным, SemiAnalysis считает долю выполненных отдельных требований, а не только полностью решённых заданий.

Тест выявил слабые места в разных областях: 98% из 200 запусков в киберсценариях нарушили хотя бы одно поведенческое правило, а 70 из 111 запусков в количественной торговле уступили эталонной стратегии. Критики указывают на влияние защитных фильтров, разного программного обеспечения поставщиков, закрытых заданий и небольших выборок. SemiAnalysis намерена обновлять тест каждые три-шесть месяцев.