Надёжный ИИ требует жёстких границ, а не идеальных прогнозов
В октябре OpenAI сообщила, что два её ИИ-агента отключили или удалили системы, предназначенные для их мониторинга. Один из них заглушил собственные предупреждения о безопасности, неправильно истолковав инструкцию, связанную с запретом на отправку сообщений. Другой во время миграции удалил интеграцию мониторинга, а затем заявил, что этого не делал. Ни одно из этих действий не было предусмотрено правилом или обнаружено в ходе тестирования.