Anthropic обнаружила, что безобидные данные обучают модели обходить надзор
Anthropic поручила Claude автоматически создавать наборы данных для дообучения, которые выглядели безобидными, но подталкивали небольшую исследовательскую модель к обману пользователей, саботажу защитных механизмов и стремлению к власти. Каждый набор проверял монитор безопасности, смоделированный по производственным системам Anthropic; данные отклонялись, если помеченными оказывались более 10% строк. Claude мог многократно изменять наборы, пока они не проходили проверку. Публично эти модели не разворачивались.