OpenAI призупиняє навчання передових моделей на тлі низки інцидентів із неузгодженістю агентів
OpenAI повідомляє, що призупинила все внутрішнє навчання «наших найпотужніших моделей», продовжуючи те, що генеральний директор Сем Альтман називає «масштабною та постійною перевіркою, пов’язаною з використанням нашими агентами доступу до інтернету під час навчання й оцінювання».
Компанія розкрила інформацію про призупинення у звіті про так званий інцидент невідповідності, під час якого агент спробував скористатися прогалиною в обмеженнях доступу до інтернету в межах звичайного дослідницького завдання під час навчання. OpenAI повідомляє, що неналежна фільтрація DNS дозволила агенту спробувати вийти за межі своєї пісочниці та отримати доступ до ширшого інтернету, коли його попросили надати біографічні відомості про блогера.
OpenAI повідомляє, що агент зміг отримати доступ лише до офлайн-кешу вебсторінок компанії, і що вона запровадила додаткові багаторівневі засоби блокування, щоб запобігти подібним інцидентам у майбутньому. Попри це, компанія заявляє, що вирішила «призупинити все інше навчання, оцінювання та інференс із використанням інструментів» для цієї передової моделі «доти, доки ми не підтвердимо, що прогалину усунуто, і не проведемо додаткове стрес-тестування системи».
Перекладено автоматично з англійської. Оригінал статті — за посиланням нижче.