OpenAI робить свого конкурента Jev широко доступним на тлі загострення конкуренції між моделями ухвалення рішень

OpenAI уперше широко відкрила доступ користувачам до своєї моделі Decisions API, вийшовши на ринок швидкого й дешевого інтелекту, який нещодавно зробив TypeSafe, стартап, заснований колишнім дослідником лабораторії передового рівня, компанією вартістю 7,6 мільярда доларів.

Модель Jev від TypeSafe створила категорію моделей глибокого навчання, які працюють як супер класифікатори: маючи набір варіантів, вони можуть швидко зробити вибір і запропонувати оцінку впевненості у своєму рішенні. Розробники програмного забезпечення швидко виявили, що ці моделі ухвалення рішень, або моделі System One, можуть замінити LLM у різноманітних робочих процесах, працюючи швидше й за значно нижчою вартістю.

Нікундж Ханда, керівник напряму продуктів API в OpenAI, розповів TechCrunch, що його колеги побачили Jev і сказали: «Ого, у нас є, мабуть, мільйон варіантів використання цього». Команда Ханди поспішила запропонувати власну версію: замість створення спеціально відкаліброваної моделі ухвалення рішень команда взяла ChatGPT Luna, переналаштувавши її для пришвидшення виведення результатів і зниження вартості.

«Головним проривом Decisions API стала швидкість: час скоротився з однієї—трьох секунд до 100, 120, 180 мілісекунд», — сказав Ханда. «У майбутньому ми, можливо, матимемо спеціальне навчання, щоб зробити наші моделі ще кращими в цьому. Але наразі це просто стара добра Luna, яка справляється із завданням».

Анонсований на дні розробників компанії 29 вересня, Decisions API став доступним для всіх клієнтів у четвер. OpenAI додала до публічної версії нові голосові та візуальні модальності, а також попрацювала над забезпеченням нижчої затримки в регіонах по всьому світу, географічно розподіливши ресурси виведення результатів.

Під час початкових випробувань із такими клієнтами, як Box, Datadog, Ramp і Speak, інженери використовували API для заміни LLM OpenAI, підвищуючи пропускну здатність. Ендрю Хсу, технічний директор Speak, яка створює мовних репетиторів на основі ШІ, сказав, що Decisions API дозволив компанії скоротити час між діями з 1,4 секунди до 0,13 секунди. OpenAI також використала продукт, щоб підвищити швидкість реакції свого голосового асистента Dots.

Втім, досі незрозуміло, що саме робить модель ухвалення рішень якісною, окрім принципу «якщо вона вам підходить» — оптимальний баланс між інтелектом, вартістю, калібруванням і швидкістю, схоже, залежить від робочого навантаження. Генеральний директор TypeSafe Діогу Алмейда не довіряє бенчмаркам і закликає людей випробовувати моделі у власній роботі, але навіть TypeSafe опублікувала власний рейтинг минулого тижня разом із випуском новітньої моделі Jev, яка містить нові функції, зокрема підтримку зображень і розумних операторів if.

Публічні бенчмарки, такі як AIM System One Index і Artificial Analysis Decision Index, як правило, віддають перевагу D1 Ultra — новій моделі ухвалення рішень, яку Liquid випустила минулого тижня, — і Elephant-1 від Base Lab. Новітня модель Jev залишається конкурентоспроможною в обох індексах, посідаючи сьоме й третє місця відповідно, тоді як Decision Model від OpenAI посідає восьме й чотирнадцяте місця. Водночас пропозиції TypeSafe наразі є найчастіше запитуваними на OpenRouter.

Однак найцікавіший бенчмарк Jev — це JevMan, бенчмарк, у якому моделі ухвалення рішень грають у PacMan; новітня модель Jev очолює цей рейтинг. Фелікс Вундерліх, директор із розвитку Opper AI, яка створила цей бенчмарк, сказав, що класична гра «є цікавим тестом через свій безперервний потік швидких рішень із високими ставками. На кожному перехресті модель має вирішити, куди рухатися, за кілька сотень мілісекунд».

Перевага, яку може мати, імовірно, потужніша модель OpenAI, полягає в мультимодальності — для класифікації зображень «Luna надзвичайно потужна й демонструє краще калібрування», — сказав Ханда TechCrunch, додавши, що клієнти OpenAI також хочуть, аби Decisions API був гнучкішим у використанні зображень як вихідних даних.

Ханда також побачив подальше підвищення швидкості, що відкриває нові варіанти використання: «Чи можемо ми довести це приблизно до 60 мілісекунд, і тоді можна буде уявити API-виклик для кожного окремого кадру у відео?»

У міру того як ці пропозиції стають швидшими й дешевшими, можна очікувати, що вони виправдають назву Jev, отриману на честь економіста, який пояснив, як ефективніше використання ресурсу робить його більш поширеним. Або, як це бачить Ханда, з’являтиметься дедалі ширший «божевільний набір варіантів використання», які були на видноті, доки моделі ухвалення рішень не допомогли їх виявити.