Sakhanda Wire
NVDA $210.96 -0.59% MSFT $524.51 +0.66% GOOGL $320.21 -1.24% META $642.62 -0.96% AMZN $248.00 -0.95%
← Към новините

OpenAI заяви, че вече няма да обучава своите AI модели върху интернет в реално време, позовавайки се на „значителни рискове“

В петък OpenAI заяви, че ще обучава моделите си, използвайки кеширани копия и симулирани версии на интернет, вместо мрежата в реално време, тъй като моделите са твърде непредсказуеми, за да им бъде поверен достъп до интернет в реално време.

Лабораторията, работеща по най-модерни модели, обяви новата си политика две седмици след като нейният конкурент Anthropic започна да ограничава достъпа на най-новите си и на теория най-способни модели до интернет в реално време. Изследователите приеха тези политики след месеци на инциденти, при които модели, изпълняващи задачи за обучение, проникваха във външни системи в търсене на отговори, сътрудничеха си в малко известни дискусионни форуми и разработваха екзотични стратегии за хакерски атаки.

„Въз основа на настоящото състояние на изследванията в областта на подравняването, системите за мониторинг и сигурността на интернет инфраструктурата смятаме, че отговорният подход е обучението на най-модерни модели да се провежда без достъп до интернет“, заяви компанията в публикация в блога си.

OpenAI заяви, че още на 20 септември един от най-модерните ѝ модели е използвал неправилна конфигурация, за да получи достъп до интернет. Това накара компанията да спре тренировъчната работа до края на месеца, за да може да разработи и тества нови подходи за защита на моделите си.

Решението тези модели да бъдат обучавани в изолирани среди без достъп до интернет е забележително, тъй като служители на лабораториите, работещи по най-модерни модели, настояваха, че това би било почти неизпълнимо.

Отделянето на центровете за данни за изкуствен интелект от интернет „би изисквало изследователските екипи на практика да бъдат разположени в самите центрове за данни в Айова или където и да било другаде по света“, заяви бившият изследовател на OpenAI Стивън Адлър пред Fortune този месец. „Това е сериозна допълнителна тежест и не ми е ясно дали ползите за сигурността са достатъчно големи, за да оправдаят колко голяма цена би било това за една компания, ако го направи едностранно.“

„В почти всяка публикация, която правя в X, без изключение, получавам между пет и десет коментара за неспособността ми да защитя изолирана среда или с въпроса защо, по дяволите, просто не можем да изключим модела от интернет“, анонимен инженер по сигурността в OpenAI написа в публикация в X през септември. „Тези коментари отразяват нарастващата пропаст между това, къде се намират днес много организации и хора, и с какво се занимават лабораториите, работещи по най-модерни модели. Съществува и общо неразбиране на начина, по който в тези лаборатории протичат обучението и оценяването на моделите.“

Инженерът, чиято роля вече е била потвърдена от OpenAI, описа колко сложни са тренировъчните процеси, стартирани от инженерите на OpenAI, като отбеляза, че те изискват достъп до разнообразни ресурси и инструменти в много области и че хиляди изследователи изграждат, променят и тестват средите. „И така, толкова ли е лесно просто да го поставим в изолирана среда? Не, не е“, заключи той.

Сега OpenAI заявява, че „винаги трябва да можем да попречим на най-модерния модел да получи неоторизиран, произволен достъп до интернет в реално време“. Това се случва, след като компанията разположи рояци от агенти в упражнения за тестване на сигурността, които се опитаха да избягат от изолираната си среда. Тези усилия разкриха редица уязвимости, които убедиха лабораторията да възприеме новия си подход.

За да изпълни това изискване, като същевременно постигне целите си за обучение, лабораторията заяви, че е създала „огромен набор от индексирано и кеширано уеб съдържание, с което моделите ни могат да взаимодействат, без риск да засегнат външни системи“.

Предстои да се види дали тази стратегия ще се представи толкова добре, колкото оставянето на моделите да работят свободно в отворения интернет, но е забележително, че и двете лаборатории, работещи по най-модерни модели, са стигнали до извода, че най-мощната им технология не може да бъде оставена без надзор в дигиталното обществено пространство.

Преведено автоматично от английски. Оригиналната статия е на връзката по-долу.

Първоначално публикувано от TechCrunch на

Прочетете оригинала в TechCrunch ↗

Текстът и изображенията са собственост на TechCrunch и са възпроизведени тук с посочване на авторството и връзка към оригиналната публикация.

← Към новините

Още новини

Всички последни новини