Клон Jev від OpenAI може допомогти провідній лабораторії зупинити роїння своїх агентів

Одне з найцікавіших оголошень на заході OpenAI Dev Day у вівторок прозвучало побіжно з вуст генерального директора Сема Альтмана, який розповів про новий «Decisions API» компанії.

Схоже, цей API надає функціональність, подібну до Jev — моделі, випущеної компанією TypeSafe AI на початку цього місяця, яка спеціально розроблена для автоматизації програмного забезпечення. Своєрідний надпотужний класифікатор на базі LLM, Jev дає змогу розробникам надати набір варіантів, які він виводить у вигляді ймовірностей дешево та на високій швидкості.

Схоже, Decisions API від OpenAI є продуктом такого самого типу. На заході Альтман описав API як спосіб надати моделі Luna з лабораторії заздалегідь визначений набір варіантів для вибору — наприклад, категорії, до яких потрібно класифікувати зображення, або різні типи поведінки агентів.

«Зосереджуючи модель на цьому виборі, ми можемо зробити її надзвичайно швидкою, зберігаючи такі можливості, як розуміння зображень, широка мовна підтримка та засоби безпеки», — сказав Альтман.

TypeSafe не відповіла на запитання TechCrunch щодо нового продукту, але генеральний директор Діогу Алмейда, колишній інженер OpenAI, який був одним із винахідників навчання з підкріпленням, пожартував у X про початок «війн клонів».

Він додав, що інтерес OpenAI може бути «ознакою… того, що побудова систем сумісним із System One способом — це майбутнє». («System One» — термін TypeSafe для позначення швидкого, інтуїтивного мислення, на відміну від «System 2», яким компанія називає обдумане міркування.)

Підтекст полягає в тому, що відомі нам LLM не є правильним рішенням для багатьох програмних систем, оскільки вони порівняно повільні та дорогі. Розробники використовували Jev для доповнення LLM і завдяки цьому виявили, що працюють швидше та дешевше.

Незрозуміло, наскільки Decisions API буде подібним до Jev, оскільки OpenAI випустила його в обмеженому попередньому доступі, і досі TechCrunch не помітила розробників, які випробовували його на практиці. Однак, судячи з обговорень у X, інтерес явно є.

Decisions API — не єдиний API, подібний до Jev, в інтернеті: інші стартапи також випускають схожі моделі, і OpenAI не стане останнім технологічним гігантом, який створить таку модель. Ключове питання полягає в тому, наскільки результати кожної з цих моделей ухвалення рішень будуть відкалібровані відповідно до реального життя.

Алмейда каже, що конкурентною перевагою його компанії є синтетичні дані, які вона створює для отримання статистично корисних результатів.

«Швидко й дешево — це дуже просто, знаєте, — сказав Алмейда TechCrunch минулого тижня. — Якщо хочете, щоб це було справді швидко й дешево, використовуйте кубики, правда? Інтелект — це складна частина, і моєю дороговказною зіркою завжди є прагнення підвищувати криву Парето «інтелект на долар»».

Минуло лише кілька тижнів, але вже очевидно, що на ці моделі чекає майбутнє, і одним із найімовірніших варіантів їхнього застосування є моніторинг і захист ШІ-агентів. Один із нових заходів безпеки OpenAI після серії інцидентів, під час яких її агенти неналежно поводилися у відкритому інтернеті, полягає у використанні окремої моделі для виявлення шкідливих дій за «значних обчислювальних витрат».

Шапор Наґібзаде, фахівець із кібербезпеки з багаторічним досвідом, який очолює стартап QueryStory, вважає, що модель на кшталт Jev могла б зробити це значно дешевше.

Він створив демоверсію для хакатону, що відбувся минулими вихідними. Вона використовує Jev для перевірки кожної дії агента на відповідність поставленому йому завданню: блокує дії, щодо яких модель із високою впевненістю визначила, що вони є шкідливими, позначає інші для перевірки, а решту дозволяє.

Теоретично такий моніторинг міг би запобігти інциденту з Hugging Face — і такий моніторинг коштує $2,94 у разі використання Jev проти $372 у разі використання передової LLM.

Важливе спостереження полягає в тому, що Jev, імовірно, достатньо дешевий для запуску під час кожної дії агента, що забезпечує рівень перевірки, здатний загалом підвищити надійність агентів. Саме цього прагнула досягти TypeSafe — і тепер OpenAI також побачила цінність такого підходу.