OpenAI широко представляет своего конкурента Jev на фоне обострения конкуренции между моделями принятия решений

OpenAI впервые сделала модель Decisions API широко доступной для пользователей, выйдя на рынок быстрых и дешёвых интеллектуальных решений, который недавно превратил TypeSafe, стартап, основанный бывшим исследователем передовой лаборатории, в компанию стоимостью 7,6 миллиарда долларов.

Модель Jev от TypeSafe создала новую категорию моделей глубокого обучения, которые работают как супер-классификаторы: получив набор вариантов, они могут быстро сделать выбор и предоставить оценку уверенности в своём решении. Разработчики программного обеспечения быстро обнаружили, что эти модели принятия решений, или модели System One, могут заменить LLM в самых разных рабочих процессах, работая быстрее и при значительно меньшей стоимости.

Никундж Ханда, руководитель направления продуктов API OpenAI, рассказал TechCrunch, что его коллеги увидели Jev и сказали: «Ничего себе, у нас, кажется, миллион вариантов использования этого». Команда Ханды поспешила предложить собственную версию: вместо создания специально откалиброванной модели принятия решений команда взяла ChatGPT Luna и перенастроила её, чтобы ускорить получение результатов и снизить стоимость.

«Главным прорывом в Decisions API стала скорость: время сократилось с одной–трёх секунд до 100, 120 или 180 миллисекунд», — сказал Ханда. «В будущем мы, возможно, проведём специальное обучение, чтобы сделать наши модели ещё лучше в этом отношении. Но сейчас это всего лишь старая добрая Luna, которая справляется с задачей».

Анонсированный на дне разработчиков компании 29 сентября, Decisions API стал доступен всем клиентам в четверг. OpenAI добавила в общедоступную версию новые голосовые и визуальные возможности, а также постаралась обеспечить меньшую задержку в регионах по всему миру, разместив вычислительные ресурсы для получения результатов с учётом географии.

В ходе первых испытаний с такими клиентами, как Box, Datadog, Ramp и Speak, инженеры использовали API, чтобы заменить LLM OpenAI и повысить пропускную способность. Эндрю Хсу, технический директор Speak, создающей языковых ИИ-репетиторов, сказал, что Decisions API позволил компании сократить время между действиями с 1,4 секунды до 0,13 секунды. OpenAI также использовала этот продукт, чтобы повысить скорость отклика своего голосового ассистента Dots.

Тем не менее пока неясно, что именно делает модель принятия решений хорошей, если не считать принципа «она работает для вас»: оптимальное сочетание интеллектуальности, стоимости, калибровки и скорости, похоже, зависит от конкретной задачи. Генеральный директор TypeSafe Диогу Алмейда не доверяет бенчмаркам и призывает людей тестировать модели в собственной работе, однако даже TypeSafe опубликовала собственный рейтинг на прошлой неделе вместе с выпуском последней модели Jev, которая получила новые функции, включая поддержку изображений и интеллектуальных условных операторов.

Публичные бенчмарки, такие как AIM System One Index и Artificial Analysis Decision Index, как правило, отдают предпочтение D1 Ultra — новой модели принятия решений, которую Liquid выпустила на прошлой неделе, — и Elephant-1 от Base Lab. Последняя модель Jev сохраняет конкурентоспособность в обоих индексах, занимая седьмое и третье места соответственно, тогда как Decision Model от OpenAI занимает восьмое и четырнадцатое места. Однако решения TypeSafe пока что чаще всего запрашиваются на OpenRouter.

Однако самым забавным бенчмарком Jev является JevMan — тест, в котором модели принятия решений играют в PacMan; последняя модель Jev возглавляет этот рейтинг. Феликс Вундерлих, директор по развитию Opper AI, создавшей этот бенчмарк, сказал, что классическая игра «представляет собой интересный тест из-за непрерывного потока быстрых решений с высокими ставками. На каждом перекрёстке модель должна за несколько сотен миллисекунд решить, куда двигаться».

Преимущество более мощной, вероятно, модели OpenAI может проявляться в мультимодальности: для классификации изображений «Luna чрезвычайно мощна и демонстрирует более высокую точность калибровки», — сказал Ханда TechCrunch, добавив, что клиенты OpenAI также хотят, чтобы Decisions API был более гибким в использовании изображений в качестве выходных данных.

Ханда также предвидит дальнейшее увеличение скорости, которое откроет новые варианты использования: «Можем ли мы довести это примерно до 60 миллисекунд? Тогда можно представить себе API-вызов для каждого отдельного кадра видео».

По мере того как эти решения становятся быстрее и дешевле, можно ожидать, что они оправдают название Jev — в честь экономиста, который объяснил, как более эффективное использование ресурса делает его более распространённым. Или, как считает Ханда, будет появляться всё больше «безумного множества вариантов использования», которые оставались на виду, пока модели принятия решений не помогли их обнаружить.