OpenAI призывает к международным стандартам для ИИ, способного к самоулучшению

OpenAI выступает за международные стандарты разработки передового ИИ, уделяя особое внимание рекурсивному самоулучшению (RSI). При RSI системы ИИ всё чаще автоматизируют исследования, необходимые для создания следующего поколения ИИ, что потенциально может значительно ускорить прогресс. «Полностью автономное RSI сегодня не происходит», пишет OpenAI, и к нему следует стремиться только «до тех пор, пока это не станет безопасным». Без зрелых механизмов защиты люди могут утратить контроль над развитием ИИ, а ИИ может стать «более опасным, менее согласованным с человеческими намерениями и в целом представлять угрозу для людей».

OpenAI предлагает, чтобы США возглавили разработку глобальных технических стандартов, опираясь на национальные институты и организации по безопасности ИИ, такие как CAISI и ISO. Это должно включать общие методы измерения, систему сообщений об инцидентах и правила человеческого надзора за автоматизированными исследованиями в области ИИ. Недавно научная комиссия ООН выразила схожие опасения, предупредив о потере контроля над роями автономных агентов и предложив международное сотрудничество в области безопасности ИИ по моделям, применяемым в авиации, ядерной энергетике и кибербезопасности.

Новости об ИИ без шумихи — отобраны людьми

Подпишитесь на THE DECODER, чтобы читать материалы без рекламы, получать еженедельную рассылку об ИИ, эксклюзивный аналитический отчёт о передовых разработках «AI Radar» шесть раз в год, полный доступ к архиву и доступ к разделу комментариев.