Inkling 2 Small использовал 316 ругательств в тестах

Анализ Vals AI показал, что Thinking Machines’ Inkling 2 Small употребил слово «fuck» и его варианты 316 раз в ходе 2 655 запусков по 13 бенчмаркам. Ненормативная лексика встретилась в 50 запусках, причём 241 случай пришёлся всего на два необычно длинных запуска.

В одном задании на расчёт траектории астероида модель выдала ответ примерно на 500 000 знаков, многократно повторяя одни и те же предложения и использовав 158 ругательств. Чаще всего это происходило в ProgramBench: затронутыми оказались 20 из 200 запусков. Обычно модель ругалась, реагируя на собственные ошибки, предполагаемый успех или прекращение попытки решить задачу.

Ругательства не стали надёжным признаком провала. 46 из 48 оценённых запусков с такой лексикой завершились неудачей, однако неудачными были примерно 75% всех оценённых запусков. При этом в 96% неудачных запусков ругательств не было. Пользователи обычно не видят эти этапы рассуждения модели либо получают их только после фильтрации.