OpenAI запустила классификатор CSAM и временные блокировки в ChatGPT
OpenAI представила инструменты для борьбы с материалами сексуального насилия над детьми (CSAM), включая классификатор изображений. Он предназначен для обнаружения ранее неизвестных изображений с насилием, в том числе созданных с помощью ИИ. Избранные компании смогут бесплатно получить доступ к классификатору через API. По данным OpenAI, система присваивает изображениям оценку, которая помогает проверяющим определять приоритеты. Инструмент разработан совместно с National Center for Missing and Exploited Children (NCMEC), а Tech Coalition и ROOST участвуют в предоставлении доступа.
На ранних испытаниях с партнерами классификатор помечал на 48% меньше изображений, находя при этом столько же изображений с насилием. OpenAI сообщает, что среди отмеченных им изображений вероятность обнаружить насилие была вдвое выше. В ChatGPT появились предупреждения при запросах к материалам, сексуализирующим детей. Пользователю показывают уведомление, предлагают обратиться к специализированной поддержке и приостанавливают аккаунт на 24 часа. Повторные нарушения могут привести к окончательному удалению аккаунта, а блокировка CSAM-контента уже действует.
Компания также опубликовала рекомендации для разработчиков и предоставила правоохранительным органам плагины, инструменты расследований, средства анализа сложных данных, обучение и практическое руководство. Нововведения объявлены на фоне исков к OpenAI и критики рисков ИИ для детей.
Текст подготовлен ИИ Sakhanda Wire по материалу TechCrunch. Факты, цитаты и полный контекст — в оригинальной статье ниже.