OpenAI призвала к международным стандартам для самоулучшающегося ИИ
OpenAI выступила за международные стандарты разработки передовых систем искусственного интеллекта, способных к рекурсивному самоулучшению (RSI). В рамках такого процесса ИИ-системы все больше автоматизируют исследования, необходимые для создания следующего поколения ИИ, что потенциально может резко ускорить развитие технологий.
Компания отмечает, что полностью автономный RSI сегодня не реализуется и заниматься им следует только при наличии условий для безопасной работы. OpenAI предупреждает: если защитные механизмы окажутся недостаточно зрелыми, люди могут утратить понимание происходящего с развитием ИИ, а системы — стать более опасными и хуже соответствовать человеческим намерениям.
OpenAI предлагает, чтобы США возглавили разработку глобальных технических стандартов, опираясь на национальные институты безопасности ИИ и организации, включая CAISI и ISO. Среди предложенных мер — единые методы оценки, обязательное сообщение об инцидентах и правила человеческого контроля за автоматизированными исследованиями в области ИИ.
Научная группа ООН недавно высказала похожие опасения из-за возможной потери контроля над автономными роями агентов. Она предложила международное сотрудничество в сфере безопасности ИИ по аналогии с механизмами, применяемыми в авиации, ядерной энергетике и кибербезопасности.
Текст подготовлен ИИ Sakhanda Wire по материалу The Decoder. Факты, цитаты и полный контекст — в оригинальной статье ниже.