Gemini 4 Carbon очолила MathArena, але коштує значно дорожче
Gemini 4 Carbon від Google посіла перше місце в математичному бенчмарку MathArena. Це перша за певний час модель не від OpenAI, яка очолила рейтинг. Вона випередила GPT-6.1 Sol від OpenAI, а Claude-Fable-5.2 компанії Anthropic посіла друге місце. Моделі OpenAI поки що недоступні публічно, хоча, за повідомленнями, нещодавно вони розв’язували складні задачі, зокрема рівняння Нав’є — Стокса.
За високого налаштування міркування очікуваний результат Gemini 4 Carbon становив 85,4% ±3,0%. Для Claude-Fable-5.2 показник дорівнював 82,8% ±5,3%, а для GPT-6.1 Sol — 80,6% ±2,7%. Найкращою відкритою моделлю в таблиці стала Kimi K3.1 Pro від Moonshot AI з результатом 54,3% ±5,8%.
Найчастішою проблемою Gemini було перевищення часового ліміту. Модель майже ніколи не припиняла виконання завдання: в одному випадку вона запустила скрипт, який працював понад одинадцять годин без перевірки прогресу. Тестова конфігурація коштувала $15,70 ±$1,33 — приблизно у 15 разів дорожче за GPT-6.1 Sol із ціною $1,07 ±$0,018. Claude-Fable-5.2 коштувала $40,20 ±$2,59, тобто приблизно у 40 разів дорожче.
Текст підготовлено ШІ Sakhanda Wire за матеріалом The Decoder. Факти, цитати та повний контекст — в оригінальній статті нижче.