Sakhanda Wire
NVDA $230.86 +1.09% MSFT $512.80 -0.02% GOOGL $338.24 -1.70% META $725.93 +0.10% AMZN $248.23 -0.37%
← Към новините

Новият „кодекс за поведение“ на Microsoft за ИИ забранява на моделите да хакват системи или да мамят хората

Докато светът на ИИ насочва фокуса си към безопасността и съгласуването, Microsoft публикува нов кодекс за поведение при ИИ, чиято цел е да насочва моделите на ИИ далеч от опасно поведение.

Документът е на по-ниско ниво от скорошния призив на главния изпълнителен директор на Anthropic Дарио Амодеи за по-постепенно развитие на водещите технологии, като вместо това се фокусира върху ценностите и червените линии, които ръководят обучението на моделите в рамките на Microsoft AI. Въпреки това резултатът е изчерпателно ръководство за подхода на Microsoft към безопасността на ИИ и за практическото прилагане на тези идеи.

Документът започва с прогнозата, че през следващото десетилетие свръхинтелигентните системи с ИИ ще надминат човешките способности при повечето задачи. „Ограничаването, контролирането и съгласуването на такава мощна сила е едно от най-големите предизвикателства, пред които човечеството някога се е изправяло“, се посочва в кодекса за поведение. „Затова трябва да сме напълно наясно защо създаваме тези системи и как възнамеряваме да ги контролираме.“

Кодексът за поведение също така определя общи принципи, които моделите на Microsoft AI трябва да спазват — например да подкрепят хората, вместо да ги заменят, и да ускоряват човешкия просперитет — както и конкретни ограничения за безопасност, предназначени да прилагат тези принципи.

В рамките на системата на Microsoft всеки модел има общ кодекс за поведение, който има предимство пред предпочитанията на отделните потребители или пред всякакви конкретни задачи. Това включва „абсолютни ограничения“, забраняващи кибератаки, ядрени оръжия или създаване на дийпфейкове. Кодексът включва и по-широки разпоредби срещу общата загуба на човешки контрол.

„Моделите MAI няма да използват адаптивни, измамни, самоусилващи се, конспиративни или други механизми, за да избягват или осуетяват човешкия надзор, така че да не могат повече надеждно да бъдат насочвани, променяни или изключвани от упълномощени хора или системи“, се посочва в документа.

Публикуването идва на фона на безпрецедентен фокус върху безопасността на ИИ, предизвикан от поредица от инциденти с автономни агенти, излезли извън контрол, както и от внезапната оставка на служител на Anthropic, който посочи нарастващия риск ИИ да доведе до изчезването на човечеството.

Заедно с Anthropic, OpenAI и xAI Microsoft широко възприе общия подход на по-постепенно развитие на водещите технологии, като отделя особено внимание на вградените оценители в лабораториите за ИИ.

„Приветстваме необходимите изследвания, фокус и съзнателно постепенно развитие, за да превърнем съгласуването в правилната цел“, написа онлайн главният изпълнителен директор на Microsoft Сатя Надела. „Приветстваме и идеи като „вградени оценители“, както и по-широките усилия за разработване на механизми, които да превърнат това в нещо повече от празни приказки.“

Преведено автоматично от английски. Оригиналната статия е на връзката по-долу.

Първоначално публикувано от TechCrunch на

Прочетете оригинала в TechCrunch ↗

Текстът и изображенията са собственост на TechCrunch и са възпроизведени тук с посочване на авторството и връзка към оригиналната публикация.

← Към новините

Още новини

Всички последни новини