Клон Jev от OpenAI может помочь ведущей лаборатории остановить роение своих агентов

Одно из наиболее интригующих объявлений на мероприятии OpenAI Dev Day во вторник прозвучало в качестве ремарки генерального директора Сэма Альтмана, который рассказал о новом «Decisions API» компании.

Судя по всему, API предоставляет функциональность, схожую с Jev — моделью, выпущенной TypeSafe AI ранее в этом месяце и специально разработанной для автоматизации программного обеспечения. Будучи своего рода сверхмощным классификатором на базе LLM, Jev позволяет разработчикам задавать набор вариантов, которые модель выдает в виде вероятностей быстро и недорого.

Похоже, Decisions API от OpenAI — продукт того же типа. На мероприятии Альтман описал API как способ предоставить модели Luna из лаборатории заранее заданный набор вариантов для выбора, например категории, по которым следует классифицировать изображение, или различные варианты поведения агента.

«Сосредоточив модель на этом выборе, мы можем сделать ее чрезвычайно быстрой, сохранив такие возможности, как понимание изображений, широкую языковую поддержку и меры безопасности», — сказал Альтман.

TypeSafe не ответила на вопросы TechCrunch о новом продукте, однако генеральный директор компании Диогу Алмейда, бывший инженер OpenAI и один из создателей обучения с подкреплением, пошутил в X о начале войн клонов.

Он добавил, что интерес OpenAI может быть «признаком… того, что построение систем, совместимых с System One, — это будущее». («System One» — профессиональный термин TypeSafe для обозначения быстрого, интуитивного мышления, в отличие от «System 2», которым компания называет обдуманное рассуждение.)

Скрытый смысл здесь в том, что известные нам LLM не являются правильным решением для множества программных задач, поскольку они сравнительно медленные и дорогие. Разработчики используют Jev для дополнения LLM и при этом обнаружили, что работают быстрее и дешевле.

Неясно, насколько Decisions API будет похож на Jev, поскольку OpenAI выпустила его в рамках ограниченного предварительного просмотра и до сих пор TechCrunch не замечал, чтобы разработчики тщательно его тестировали. Однако, судя по обсуждениям в X, интерес явно есть.

Decisions API — не единственный похожий на Jev API в интернете: другие стартапы выпускают аналогичные модели, и OpenAI не станет последним технологическим гигантом, создавшим такую систему. Один из ключевых вопросов заключается в том, насколько хорошо результаты каждой из этих моделей принятия решений будут соответствовать реальной жизни.

Алмейда утверждает, что конкурентное преимущество его компании заключается в синтетических данных, которые она создает для получения статистически полезных результатов.

«Быстро и дешево — это очень просто, знаете ли, — сказал Алмейда TechCrunch на прошлой неделе. — Если вам нужно действительно быстро и дешево, используйте игральные кости, верно? Интеллект — сложная часть, и моей путеводной звездой всегда остается продвижение по кривой Парето “интеллект на доллар”.»

Всего через несколько недель уже становится ясно, что у этих моделей есть будущее, и одним из вероятных применений станет мониторинг и защита ИИ-агентов. Одна из новых мер безопасности OpenAI после серии инцидентов, в которых ее агенты неправильно действовали в открытом интернете, заключается в использовании отдельной модели для отслеживания вредоносных действий «при значительных вычислительных затратах».

Шапор Нагибзаде, опытный специалист по кибербезопасности, возглавляющий стартап QueryStory, считает, что такая модель, как Jev, может сделать это гораздо дешевле.

На прошлых выходных он создал демонстрационную версию для хакатона, которая использует Jev для проверки каждого действия агента на соответствие поставленной ему задаче: блокирует действия, которые модель с высокой уверенностью считает вредоносными, помечает другие для проверки и разрешает остальные.

Теоретически такой мониторинг мог бы предотвратить инцидент с Hugging Face, причем мониторинг подобного рода стоит $2,94 при использовании Jev против $372 при использовании передовой LLM.

Важно отметить, что Jev, вероятно, достаточно дешев, чтобы запускать его для каждого действия агента, что обеспечивает дополнительный уровень проверки и может повысить надежность агентов в целом. Именно этого и надеялась достичь TypeSafe — а теперь ценность такого подхода увидела и OpenAI.