Жоден ШІ-агент не перевищив 12% у тесті GDPx

SemiAnalysis представила GDPx — тест, у якому ШІ-агенти працюють у змодельованому професійному середовищі, а не відповідають на запитання для перевірки знань. Оцінювання охоплює 206 завдань у 11 сферах, зокрема проєктування чипів, біологію, кількісну торгівлю, кібербезпеку та право. Агентам дозволяють працювати до восьми годин із програмами на кшталт Siemens NX, великими сховищами документів і змодельованими корпоративними системами. Адміністративні послуги та страхування до тесту не ввійшли.

Claude Opus 5.5 посів перше місце з результатом 12%, далі йдуть Gemini 4 Carbon із 10,9% і GPT-6 Astra з 9,6%. Gemini коштує $16.29 за завдання — приблизно третину вартості Opus 5.5. GPT-6 Luna та DeepSeek 4.1 Flash набрали близько 5% за ціною приблизно один долар за завдання. Оскільки одна помилка в електронній таблиці може зробити результат непридатним, SemiAnalysis підраховує частку виконаних окремих вимог, а не лише повністю виконаних завдань.

Тест виявив проблеми в кількох сферах: 98% із 200 кіберзапусків порушили принаймні одне поведінкове правило, а 70 зі 111 запусків у кількісній торгівлі поступилися еталонній стратегії. Критики ставлять під сумнів вплив захисних фільтрів, різного програмного забезпечення постачальників, закритих завдань і малих вибірок. SemiAnalysis планує оновлювати тест кожні три-шість місяців.