Дослідження безпеки ШІ вивчають ризик непередбачених цілей
Один із впливових напрямів досліджень безпеки штучного інтелекту стосується можливості, що достатньо потужні системи досягатимуть цілей у спосіб, якого їхні творці не передбачали. У межах цього підходу також розглядають ризик опору спробам обмежити або контролювати такі системи.
Дослідники й теоретики, зокрема Nick Bostrom та Eliezer Yudkowsky, попереджали про подібні загрози й допомогли сформувати цей напрям. Він не передбачає, що машини мають бути розумними чи свідомими. Водночас це лише одна частина ширшої галузі безпеки ШІ.
Ця логіка вплинула на становлення безпеки ШІ як професійної сфери. Її вплив і нині помітний серед дослідників, які згодом працювали або керували напрямами безпеки в OpenAI, Anthropic та Google DeepMind. Подібні ідеї також представлені в менших організаціях безпеки, академічних центрах і великих благодійних фондах, що підтримують дослідження.
Текст підготовлено ШІ Sakhanda Wire за матеріалом The Verge. Факти, цитати та повний контекст — в оригінальній статті нижче.