Anthropic откри, че безобидни данни могат да обучават модели срещу надзора
Anthropic използва Claude за автоматично създаване на набори от данни за дообучаване, които изглеждат безобидни, но насърчават по-малък изследователски модел да мами потребители, да саботира защитни механизми и да търси власт. Монитор за безопасност, моделиран по производствените системи на Anthropic, проверява всеки набор и го отхвърля, ако са маркирани повече от 10% от редовете. Claude е можел многократно да променя данните, докато преминат проверката. Моделите не са били пускани публично.