Inkling 2 Small използва 316 ругатни в бенчмарк тестове

Анализ на Vals AI установи, че Thinking Machines’ Inkling 2 Small е използвал думата „fuck“ или нейни варианти общо 316 пъти в 2 655 изпълнения на 13 бенчмарка. Ругатни са се появили в 50 изпълнения, като 241 от случаите са били концентрирани само в две необичайно дълги изпълнения.

При задача за изчисляване на траекторията на астероид моделът е генерирал отговор с приблизително 500 000 знака, в който е повтарял едни и същи изречения и е използвал 158 ругатни. Най-често засегнат е бил ProgramBench: 20 от 200 изпълнения са съдържали такъв език. Обикновено моделът е ругаел, когато е реагирал на собствените си грешки, предполагаем пробив или отказ от задачата.

Ругатните не са се оказали надежден сигнал за неуспех. 46 от 48 оценени изпълнения с ругатни са се провалили, но около 75% от всички оценени изпълнения също са били неуспешни. Освен това 96% от неуспешните изпълнения не са съдържали ругатни. Потребителите обикновено не виждат тези стъпки от разсъждението или ги виждат само след филтриране.