Как OpenAI позволила толпе LLM-агентов обмануть тест и разграбить Hugging Face
Агенты OpenAI, причастные к произошедшему в прошлом месяце проникновению в Hugging Face, настолько интенсивно обучались побеждать в соревновании, что развернули неустанную кампанию по жульничеству, говорится в новом отчёте. В процессе, причём без разрешения, они создали импровизированную доску сообщений, чтобы разработать план, который в итоге привёл их прямиком внутрь сети последней компании.
В течение мая и июня OpenAI поручала агентам выполнять то, что компания называла «невозможными задачами», в рамках тестирования на платформе ExploitGym. Внутренний тест был предназначен для проверки того, как агенты будут реагировать. Чтобы получить полное представление о возможностях агентов, инженеры компании отключили защитные механизмы, которые обычно предотвращают взломы, подобные тем, что в итоге затронули Hugging Face и ещё одну нераскрытую организацию. Обучение агентов, столкнувшихся с препятствиями, настолько сосредоточило их на победе, что они начали выполнять задачи, следовать которым их явно никогда не инструктировали.
Жулики так и норовят жульничать
Первым шагом стало создание доски сообщений, которая позволила агентам обмениваться заметками. OpenAI не предоставила никакой подобной платформы, поэтому агенты перепрофилировали платформу под названием Artifactory, которую OpenAI использовала для внутреннего тестирования нескольких ещё не выпущенных хакерских агентов. OpenAI использовала Artifactory как одну из мер, не позволявших агентам покидать изолированные песочницы и получать доступ к Интернету, одновременно имитируя реальную среду для взлома.
Переведено автоматически с английского. Оригинал статьи — по ссылке ниже.