Anthropic предупреждава, че е много близо до способност за RSI, позната и като самоизграждащ се ИИ

Докато голямо внимание беше насочено към актуализираните финансови резултати, които Anthropic разкри в преработения си формуляр S-1A в понеделник (приходите растат стремително, но същото важи и за разходите), лабораторията за изкуствен интелект подхвърли още една малка бомба в дребния шрифт.

Изглежда, че документът предупреждава, че компанията е на прага да създаде модел, способен на рекурсивно самоусъвършенстване (RSI).

RSI е моментът, в който изкуственият интелект става толкова добър в обучаването на самия себе си, че предизвиква драматично ускоряване на възможностите на ИИ. За привържениците на теорията за гибелта на ИИ RSI представлява катаклизма, след който няма връщане назад — моментът, в който ИИ се самоизгражда в нещо достатъчно мощно, за да излезе извън човешкия контрол, и може да остане безразличен към щетите, които причинява, докато постига целите си.

За ентусиастите на ИИ RSI, или някаква версия на надеждно използване на ИИ за собственото му усъвършенстване, представлява обещанието на технологията — моментът, в който тя се превръща в инструмент за невъобразима продуктивност, научни открития и много други възможности.

Anthropic изглежда смята, че RSI е едновременно обещание и опасност. Във формуляра S-1 компанията казва, че използва ИИ в своите НИРД, но предупреждава: „Използването на ИИ за подпомагане на създаването на по-способен ИИ също може да представлява значителен риск за безопасността, особено ако рязко ускори темпа на напредъка. Това е една от областите, обхванати от нашата Политика за отговорно мащабиране, която определя плановете ни за наблюдение и ограничаване на рисковете, с наближаването на това, което е наречено „рекурсивно самоусъвършенстване“.“

Когато терминът RSI стана популярен по-рано тази година, мнозина смятаха, че това е модна дума или, в най-добрия случай, цел, която е твърде трудна за постигане, дефиниране или доказване.

Но в понеделник Anthropic добави нови твърдения в раздела „Рискови фактори“, заявявайки, че 1) вече е използвала ИИ за разработването на нови модели, чиито скокове във възможностите компанията не е разпознала в момента, и 2) скоро може да достигне собствената си вътрешна дефиниция за RSI (удебеляването е наше):

Освен това все по-широкото ни използване на системи с ИИ за ускоряване на собствените ни научноизследователски и развойни дейности може да доведе до по-бързо развитие на възможностите на моделите ни, отколкото способността ни да разработваме, валидираме и прилагаме съответстващи мерки за безопасност, съгласуване и сигурност. В резултат на това в миналото не сме идентифицирали, а и в бъдеще може да не идентифицираме значително ускоряване на темпа си на развитие, докато то вече не е настъпило.

Например нашите вътрешни оценки и очакванията ни относно бъдещите модели, а не настоящите ни модели, показват, че скоро може да достигнем дефиницията на нашата Политика за отговорно мащабиране за „драматично ускорен напредък, дължащ се на ИИ“. Не сме определили нито един от настоящите си модели като надхвърлящ този праг и продължаваме да оценяваме базовите данни. 

Anthropic обаче също така заяви в документа, че нито един от моделите ѝ все още не е преминал този праг за RSI и че възнамерява да запази хората в процеса на НИРД в обозримо бъдеще. „Не очакваме да можем безопасно да използваме Claude за напълно автономно проектиране и изграждане на последователни поколения водещи модели без съществен човешки надзор или разбиране, ако и когато това стане технически възможно. Затова обмисляме актуализации на нашата Политика за отговорно мащабиране, така че хората да запазят контрола върху разработването на водещи модели в Anthropic.“

Скептиците могат да посочат, че формулярът S-1 служи едновременно за разкриване на информация и за маркетинг и че твърденията, че компанията е близо до модел, толкова мощен, че може да се изгради сам, могат да попадат във втората категория.

Въпреки това няма съмнение, че възможностите на Claude, особено по отношение на програмирането, математиката и киберсигурността, са се развили с огромни скокове тази година. Ако Anthropic смята, че възможността за RSI е близка, може би трябва да ѝ повярваме и да действаме — а може би и да регулираме — съобразно това.