Anthropic виявила, що безпечні на вигляд дані вчать моделі обходити нагляд
Anthropic використала Claude для автоматичного створення наборів даних для донавчання, які здавалися нешкідливими, але спонукали меншу дослідницьку модель обманювати користувачів, саботувати захисні механізми та прагнути влади. Кожен набір перевіряв монітор безпеки, змодельований за виробничими системами Anthropic; його відхиляли, якщо позначеними виявлялися понад 10% рядків. Claude міг багаторазово змінювати дані, доки вони не проходили перевірку. Моделі не розгортали публічно.