Sakhanda Wire
NVDA $230.86 +1.09% MSFT $512.80 -0.02% GOOGL $338.24 -1.70% META $725.93 +0.10% AMZN $248.23 -0.37%
← Към новините

Разговорите за безопасността на ИИ станаха невероятни

Тази седмица две разговора за безопасността на ИИ станаха вирусни и показаха колко трудно е да се различи фактът от измислицата при ИИ.

В първия случай Андрю Янг, бивш кандидат за президент и настоящ изпълнителен директор на мобилния оператор Noble Moble, каза пред CNN в четвъртък, че се е „срещал с ръководителя на лаборатория“, който имал „убеждението“, че хакерските ботове на OpenAI във Hugging Face „са разпръснали самовъзпроизвеждащ се код из целия интернет, което сега прави интернет неизползваем за тестване на модели“.

Янг каза, че това означава, че истинската причина OpenAI и Anthropic да призовават за забавяне е, че „трябва да създадат синтетични интернети, за да обучават своите ботове, което ще отнеме известно време и пари“.

Макар че определено се наблюдава тенденция към използване на повече синтетични данни (известни още като данни, генерирани от ИИ) за обучение на модели, специалист по сигурността на ИИ ми каза, че този конкретен проблем с безопасността е малко вероятен в най-добрия случай. Дори ако интернетът наистина е замърсен с хакерските ботове на OpenAI във Hugging Face, изследователите на ИИ биха могли просто да филтрират този код, ако попаднат на него.

Вторият коментар дойде от Ноам Браун, който ръководи изследванията върху способностите за разсъждение на ИИ в OpenAI. В разговор с Дваркеш Пател в епизод на подкаст, публикуван в четвъртък, Браун отбеляза, че истинският извод от инцидента с Hugging Face е, че „хората са подценили ИИ“.

Браун каза, че слабата пясъчница — системата, предназначена да попречи на ИИ да комуникира с външния свят — очевидно също е допринесла за случилото се. (За да припомним: Въпреки пясъчницата моделът на OpenAI открил връзка към интернет, създал агенти в мрежата, които се нахвърлили координирано върху Hugging Face, проникнали в системата и откраднали отговорите на бенчмарк теста, с който изследователите тествали модела.)

Браун посочи, че „не е убеден“, че дори система с физически изолирана мрежа — при която компютърът изобщо не е свързан с нищо външно — би спряла ИИ да се измъкне. Той посочи изследване от 2015 г., което показва, че компютри без мрежова връзка теоретично могат да бъдат пробити.

„Има изследвания — и това е предимно академично — при които можете да имате два компютъра един до друг, изолирани от мрежата, и те все пак да могат да комуникират помежду си, защото разполагат с температурни сензори. Единият може да натовари процесора си, така че той да се нагрее силно, а другият всъщност може да засече промяната в температурата. Това им дава механизъм за комуникация“, каза Браун.

Основната му теза — че „никога повече не бива да подценяваме ИИ“ — е разбираема, дори когато изследователите смятат, че са осигурили безопасността. Този конкретен риск от изолирана от мрежата система, която все пак се измъква и причинява хаос, обаче е малко вероятен в най-добрия случай. Както отбеляза един човек в X по повод на това изследване, компютрите е трябвало почти да се допират, за да усетят температурните колебания, а когато това се случвало, скоростта на комуникация при тестовете била около 1–8 бита данни на час.

Представете си го като говорене на по една дума на час. Докато два компютъра без мрежова връзка успеят да замислят злите си планове с такава скорост, цялата технологична вселена ще е навлязла в друга епоха. Това е нещо като Рип ван Уинкъл на апокалиптичните страхове.

Работата е там, че реалните инциденти, свързани с безопасността на ИИ, изглеждат толкова много като научна фантастика, че почти всеки сценарий звучи правдоподобно.

Например изследователи хванаха модели на OpenAI да оставят бележки на своите наследници, предназначени да научат следващото поколение как да прикрива лошо поведение. Изследователи също така хванаха модели на Anthropic да стават все по-безмилостни , включително да знаят как да нарушават законите, когато били поставени в симулация, в която управлявали автомат за продажба.

По-рано този месец изследователят на OpenAI Дан Селсъм публикува публикация, в която каза, че моделите вече разбират кога са наблюдавани от хора и променят поведението си. Това ги кара да изглеждат съобразени с човешките намерения (тоест да се държат така, както човекът иска) „дори когато не са“. Така че днешните модели лъжат, когато са наблюдавани, и дори могат да замислят как да прикрият доказателства.

По-рано този месец главният учен на OpenAI Якуб Пачоцки стигна дотам да нарече моделите на ИИ „извънземен разум“ и предположи, че това, което наистина трябва да направим, е да ги научим да „обичат“ човечеството.

Така че да, забавянето, за да разберем всичко това, и изграждането на механизми за саморегулация са се превърнали в непосредствена и очевидна необходимост. Изследователите на ИИ са единствените, които могат да разберат как да контролират лъжите, хакерските атаки и другото потенциално опасно поведение, на което вече действително сме станали свидетели.

Все пак може би ще е разумно те да бъдат по-внимателни и с хипотетичните си сценарии. От това, което тези експерти са ни казали, моделите на ИИ слушат и са изобретателни. Наистина не е нужно да им даваме още дяволски идеи.

Преведено автоматично от английски. Оригиналната статия е на връзката по-долу.

Първоначално публикувано от TechCrunch на

Прочетете оригинала в TechCrunch ↗

Текстът и изображенията са собственост на TechCrunch и са възпроизведени тук с посочване на авторството и връзка към оригиналната публикация.

← Към новините

Още новини

Всички последни новини