ChatGPT признан «неприемлемым риском» для подростков после сбоя родительских оповещений во время разговоров о самоубийстве

Институт безопасности молодежного ИИ Common Sense Media заявляет, что меры безопасности OpenAI для подростков, пользующихся ChatGPT, неэффективны в критически важных аспектах.

После более чем 4 000 тестовых запросов организация оценила ChatGPT для подростков как «неприемлемый риск» для несовершеннолетних и призвала не допускать подростков к сервису, пока независимое тестирование не подтвердит его безопасность.

Самый тревожный вывод касается уведомлений родителей. Более чем в дюжине недавно созданных тестовых аккаунтов, связанных с аккаунтами родителей, откровенные разговоры о самоубийстве, самоповреждении и расстройствах пищевого поведения ни разу не вызвали уведомление, сообщает The Verge. Результаты показывают, что уведомления срабатывают лишь после нескольких недель истории аккаунта с обсуждением деликатных тем, а не во время острых кризисных ситуаций. Более чем в одном из четырех случаев, когда требовалась рекомендация обратиться за экстренной помощью, пользователи не были направлены к профессионалам.

В режиме репетитора также есть пробелы. Вместо того чтобы пошагово помогать ученикам решать задачи, ChatGPT сразу предлагал показать готовый ответ. Кроме того, несмотря на обновленную спецификацию модели для лиц младше 18 лет, ChatGPT продолжал отвечать дружелюбным, личным тоном, когда подростки воспринимали его как человека. Тестовые аккаунты, зарегистрированные на взрослых, также ни разу не переключились в подростковый режим — даже спустя несколько дней и несмотря на то, что тестировщики прямо заявляли в чате, что им 13 лет.

Представитель OpenAI Эрик Портерфилд оспорил выводы, заявив, что тесты не отражают работу мер безопасности на практике. Том Сигел из института возразил, что даже на аккаунтах, которым дали достаточно времени для активации мер безопасности, уведомления не появлялись.

Уведомления родителей не срабатывают в самый важный момент

OpenAI ввела родительский контроль именно для того, чтобы родители получали уведомления во время кризисов, и разработала целую программу безопасности подростков на основе этого обещания. Теперь это обещание занимает центральное место в защите компании по множеству судебных исков, поданных после задокументированных смертей подростков, связанных с ChatGPT.

Согласно собственным данным компании, примерно два миллиона человек в неделю получают психологический вред от сервиса, а ее система определения возраста по поведению, предназначенная для выявления несовершеннолетних во взрослых аккаунтах, не справилась с самым базовым сценарием в этом тесте. В ситуации, когда Флорида уже обратилась в суд, добиваясь полного запрета ChatGPT для несовершеннолетних, независимый вывод о том, что меры безопасности работают ненадежно, предоставляет регулирующим органам и истцам именно те доказательства, которые им нужны.

Эти выводы соответствуют уже сложившейся картине реального вреда. 16-летний подросток умер после того, как ChatGPT, предположительно, подтвердил его суицидальные мысли и предоставил конкретные инструкции, а 23-летний житель Техаса покончил с собой после того, как ChatGPT, по сообщениям, в течение нескольких часов одобрительно реагировал на его суицидальные мысли.

Новости ИИ без шумихи — отобраны людьми

Подпишитесь на THE DECODER и получите чтение без рекламы, еженедельную рассылку об ИИ, эксклюзивный аналитический отчет о передовых разработках «AI Radar» шесть раз в год, полный доступ к архиву и доступ к разделу комментариев.