OpenAI спира обучението на фронтирни модели на фона на поредица от инциденти с несъответствие на агентите
OpenAI заявява, че е преустановила цялото вътрешно обучение на „най-мощните ни модели“, докато продължава това, което изпълнителният директор Сам Алтман нарича „обстоен и продължаващ преглед, свързан с използването на достъп до интернет от нашите агенти по време на обучение и оценяване“.
Компанията разкри преустановяването в доклад за така наречения инцидент с отклонение, при който агент се е опитал да използва пропуск в ограниченията за достъп до интернет по време на рутинна изследователска задача в процеса на обучение. OpenAI заявява, че неправилното филтриране на DNS е позволило на агента да се опита да излезе от пясъчната си среда и да получи достъп до по-широкия интернет, когато е бил помолен да предостави биографични подробности за блогър.
OpenAI заявява, че агентът е успял да получи достъп единствено до офлайн уеб кеша на компанията и че е въвела допълнителни многостепенни средства за блокиране, за да предотврати подобни инциденти в бъдеще. Въпреки това компанията заявява, че е решила да „преустанови всяко друго обучение, оценяване и извеждане с използване на инструменти“ за този авангарден модел, „докато не потвърдим, че пропускът е отстранен, и не извършим допълнително тестване от типа red team на системата“.
Преведено автоматично от английски. Оригиналната статия е на връзката по-долу.