Sakhanda Wire
NVDA $153.78 -1.51% MSFT $504.71 -2.56% GOOGL $279.10 -1.63% META $617.85 -1.37% AMZN $256.64 -0.43%
← К новостям

Исследования безопасности ИИ изучают риск непредвиденных целей

Одно из влиятельных направлений исследований безопасности искусственного интеллекта связано с возможностью того, что достаточно мощные системы начнут добиваться целей способами, не предусмотренными их создателями. В рамках этого подхода также рассматривается вероятность сопротивления попыткам ограничить или контролировать такие системы.

Исследователи и теоретики, включая Nick Bostrom и Eliezer Yudkowsky, предупреждали о подобных рисках и помогли сформировать это направление. Для него не требуется предполагать наличие у машин разума, сознания или способности к субъективным переживаниям. При этом оно составляет лишь часть более широкой области безопасности ИИ.

Эта линия рассуждений повлияла на развитие безопасности ИИ как профессиональной сферы. Ее следы остаются заметны среди специалистов, которые позднее работали в командах безопасности или возглавляли их в OpenAI, Anthropic и Google DeepMind. Аналогичные идеи также представлены в небольших организациях, академических центрах и крупных благотворительных фондах, поддерживающих исследования.

Текст подготовлен ИИ Sakhanda Wire по материалу The Verge. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием The Verge

Читать оригинал на The Verge ↗

Репортаж и изображение принадлежат The Verge и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости