Клонингът на Jev на OpenAI може да помогне на водещата лаборатория да спре роящите се агенти

Едно от по-интригуващите съобщения на събитието Dev Day на OpenAI във вторник дойде като вметка от главния изпълнителен директор Сам Алтман, който разкри новия „Decisions API“ на компанията.

Очевидно API-то предоставя функционалност, подобна на тази на Jev — модел, пуснат от TypeSafe AI по-рано този месец, който е специално проектиран за софтуерна автоматизация. Като своеобразен свръхмощен класификатор, изграден върху LLM, Jev позволява на разработчиците да му зададат набор от възможности, които той извежда като вероятности евтино и с висока скорост.

Decisions API на OpenAI изглежда е същият тип продукт. На събитието Алтман описа API-то като начин да се предостави на модела Luna на лабораторията предварително зададен набор от възможности, между които да избира — например категории, в които да класифицира дадено изображение, или различни поведения на агенти.

„Като фокусираме модела върху този избор, можем да го направим изключително бърз, като същевременно запазим възможности като разбирането на изображения, широката езикова поддръжка и защитите за безопасност“, каза Алтман.

TypeSafe не отговори на въпросите на TechCrunch относно новия продукт, но главният изпълнителен директор Диого Алмейда, бивш инженер на OpenAI и съизобретател на обучението с подсилване, се пошегува в X за началото на „войните на клонингите“.

Той добави, че интересът на OpenAI може да е „знак… че изграждането по начин, съвместим със System One, е бъдещето“. („System One“ е терминът, използван от TypeSafe за бързото, интуитивно мислене, за разлика от „System 2“, с който компанията обозначава обмисленото разсъждение.)

Подтекстът тук е, че LLM моделите, каквито ги познаваме, не са правилното решение за голяма част от софтуера, тъй като са сравнително бавни и скъпи. Разработчиците използват Jev, за да допълват LLM модели, и по този начин са установили, че работят по-бързо и по-евтино.

Не е ясно доколко Decisions API ще прилича на Jev, тъй като OpenAI го пусна като ограничена предварителна версия и досега TechCrunch не е забелязал разработчици да го подлагат на реални изпитания. Въпреки това, според разговорите в X, интересът очевидно е налице.

Decisions API не е единственият подобен на Jev API в интернет — други стартъпи също пускат сходни модели; OpenAI няма да е последният технологичен гигант, който ще създаде такъв. Ключовият въпрос е доколко резултатите на всеки от тези модели за вземане на решения ще бъдат добре калибрирани спрямо реалността.

Алмейда твърди, че конкурентното предимство на компанията му са синтетичните данни, които създава, за да генерира статистически полезни резултати.

„Да бъдеш бърз и евтин е много лесно, нали знаете“, каза Алмейда пред TechCrunch миналата седмица. „Ако искате нещо наистина бързо и евтино, използвайте зарове, нали? Интелигентността е трудната част, а моята северна звезда винаги е била да измествам кривата на Парето за интелигентност на долар.“

Само след няколко седмици изглежда ясно, че тези модели имат бъдеще, а едно от вероятните им приложения е наблюдението и защитата на AI агенти. Една от новите мерки за сигурност на OpenAI след поредица от инциденти, при които нейните агенти се държаха неправилно в отворения интернет, е използването на отделен модел, който следи за лоши действия при „значителни изчислителни разходи“.

Шапор Нагибзаде, дългогодишен професионалист в областта на киберсигурността, който ръководи стартъпа QueryStory, смята, че модел като Jev би могъл да направи това значително по-евтино.

Той създаде демо за хакатон, проведен миналия уикенд, което използва Jev, за да проверява всяко действие на агента спрямо поставената му задача, като блокира действията, за които е силно уверен, че са неправилни, маркира други за преглед и разрешава останалите.

На теория подобно наблюдение би могло да предотврати инцидента с Hugging Face — а такъв тип наблюдение струва $2.94 с Jev в сравнение с $372 с водещ LLM модел.

Ключовото наблюдение е, че Jev вероятно е достатъчно евтин, за да се изпълнява при всяко действие на агента, което осигурява слой за проверка, способен да подобри надеждността на агентите като цяло. Именно това TypeSafe се надяваше да постигне — а сега OpenAI също е видяла стойността му.