Inkling 2 Small вживив 316 лайливих слів у тестах

Аналіз Vals AI показав, що Thinking Machines’ Inkling 2 Small ужив слово «fuck» та його варіанти 316 разів під час 2 655 запусків у 13 бенчмарках. Лайлива лексика з’явилася у 50 запусках, причому 241 випадок припав лише на два надзвичайно довгі запуски.

В одному завданні з розрахунку траєкторії астероїда модель створила відповідь приблизно на 500 000 символів, повторюючи ті самі речення й використавши 158 лайливих слів. Найчастіше це траплялося в ProgramBench: відповідні випадки зафіксували у 20 із 200 запусків. Зазвичай модель лаялася, коли реагувала на власні помилки, уявний прорив або припинення спроби виконати завдання.

Лайка не виявилася надійною ознакою провалу. 46 із 48 оцінених запусків із лайливими словами завершилися невдачею, але невдалими були приблизно 75% усіх оцінених запусків. Водночас у 96% невдалих запусків лайки не було. Користувачі зазвичай не бачать цих етапів міркування або отримують їх лише після фільтрування.