Anthropic позволява на изследователи от METR да надникнат под капака с достъп на ниво служители

Anthropic предоставя достъп на ниво служители на шестима изследователи от METR, нестопанска организация, която тества водещи модели на изкуствен интелект, за да оценяват независимо моделите на Anthropic, практиките му за безопасност и управлението на риска, съобщи компанията в публикация в блога си в четвъртък.

Договореността идва в момент, когато случаи на действащи извън зададените им инструкции агенти с изкуствен интелект бяха разкривани всяка седмица или две от края на август насам. Тези инциденти засилиха призивите за независими проверки на компаниите за изкуствен интелект.

„Искаме да носим публична отговорност за решенията, които вземаме“, заяви Anthropic в публикацията в блога си. „Целта ни е да намалим разликата между това, което оценителите разбират за системите на една компания, разработваща водещ изкуствен интелект, и това, което разбира самата компания.“

Съгласно новата договореност екипът на METR разполага с предоставени от Anthropic служебни лаптопи, офис пространство и достъп до вътрешни инструменти, приблизително равностоен на този, с който работят собствените екипи на Anthropic за оценка на риска. „Служителите на Anthropic са насърчавани да споделят информация с тях така, както биха я споделили с колега, работещ върху риска, свързан с безопасното съгласуване“, заяви компанията.

Anthropic сравни договореността с банковия сектор, където регулаторите разполагат постоянни проверяващи в най-големите банки.

METR ще публикува собствени оценки на рисковете, инцидентите и практиките на Anthropic, а компанията се е отказала от правото да ги блокира.

„Anthropic не може да налага вето върху публикациите, но можем да изискаме от тях да редактират информация, ако тя попада в тесни, предварително определени категории“, заяви компанията, като например данни за клиенти, информация, обхваната от адвокатско-клиентска тайна, или информация, свързана с архитектурите на моделите ѝ. „METR е свободна публично да характеризира нашите редакции и да заяви дали смята, че те са били оправдани, стига да го прави, без да разкрива редактираната информация“, добави Anthropic.

METR засега е единственият оценител на най-високото ниво в тристепенна система, която Anthropic изгражда. Оценителите на най-ниското ниво, като нестопанската организация за биосигурност SecureBio, извършват ограничени проверки и се нуждаят от одобрението на Anthropic, за да ги публикуват. Средното ниво получава повече информация и може да публикува без одобрение, докато най-високото ниво добавя достъп на METR на ниво служители.

Съобщението от четвъртък изпълнява обещание, дадено от главния изпълнителен директор на Anthropic Дарио Амодей в есе от септември, в което той предложи външни оценители да бъдат интегрирани в лабораториите за изкуствен интелект като първа стъпка към забавяне на развитието на технологията. OpenAI бързо пое същия ангажимент, а оттогава и двете компании, заедно с Google, Meta, Nvidia и xAI, подписаха споразумение с Белия дом, с което се ангажират с независим преглед.