OpenAI прави своя конкурент на Jev широко достъпен, тъй като конкуренцията при моделите за вземане на решения се изостря

OpenAI направи своя модел Decisions API широко достъпен за потребителите за първи път, навлизайки на пазара за бърз и евтин интелект, който наскоро превърна TypeSafe — стартъп, основан от бивш изследовател в авангардна лаборатория — в компания за 7,6 милиарда долара.

Моделът Jev на TypeSafe създаде категория за модели за дълбоко обучение, които действат като суперкласификатори: когато им бъде предоставен набор от възможности, те могат бързо да направят избор и да посочат степен на увереност в решението си. Софтуерните разработчици бързо откриха, че тези модели за вземане на решения или System One могат да заменят LLM моделите в редица работни процеси, като работят по-бързо и на значително по-ниска цена.

Никундж Ханда, продуктовият ръководител на API-тата на OpenAI, заяви пред TechCrunch, че колегите му са видели Jev и са казали: „Уау, имаме като че ли милион приложения за това.“ Екипът на Ханда побързал да предложи собствена версия: вместо да създава специално калибриран модел за вземане на решения, екипът взел ChatGPT Luna и го конфигурирал отново, за да ускори извеждането на резултати и да намали разходите.

„Големият пробив с Decisions API беше скоростта — намалихме времето от една до три секунди на 100, 120 или 180 милисекунди“, каза Ханда. „В бъдеще може би ще имаме специално обучение, с което да направим моделите си още по-добри в това отношение. Но засега това е просто старата Luna, която върши работата.“

Обявен на деня на разработчиците на компанията на 29 септември, Decisions API стана достъпен за всички клиенти в четвъртък. OpenAI добави нови гласови и визуални модалности към публичната версия и работи за осигуряване на по-ниска латентност в различни региони по света, като разпределя ресурсите си за извеждане на резултати според географското местоположение.

При първоначалните тестове с клиенти като Box, Datadog, Ramp и Speak инженерите използваха API-то, за да заменят LLM моделите на OpenAI с по-висока пропускателна способност. Андрю Хсу, техническият директор на Speak, която създава езикови AI преподаватели, заяви, че Decisions API е позволил на компанията да намали времето между действията от 1,4 секунди на 0,13 секунди. OpenAI също използва продукта, за да подобри бързината на реакция на своя гласов асистент Dots.

Все пак не е ясно какво точно прави един модел за вземане на решения добър, освен че „работи за вас“ — оптимизацията между интелигентност, цена, калибриране и скорост изглежда различна за различните работни натоварвания. Главният изпълнителен директор на TypeSafe Диого Алмейда не се доверява на бенчмарковете и призовава хората да изпробват моделите в собствената си работа, но дори TypeSafe публикува собствена класация миналата седмица заедно с представянето на най-новия си модел Jev, който включва нови функции, сред които поддръжка на изображения и интелигентни if изрази.

Публичните бенчмаркове като индекса AIM System One и индекса Artificial Analysis Decision обикновено поставят на предни позиции D1 Ultra — нов модел за вземане на решения, който Liquid представи миналата седмица — и Elephant-1 на Base Lab. Най-новият модел Jev остава конкурентоспособен и в двата индекса, съответно на седмо и трето място, докато Decision Model на OpenAI е съответно на осмо и четиринадесето място. Засега обаче предложенията на TypeSafe са най-често заявяваните в OpenRouter.

Най-забавният бенчмарк за Jev обаче е JevMan — бенчмарк, в който моделите за вземане на решения играят PacMan; най-новият модел Jev оглавява тази класация. Феликс Вундерлих, главният директор по растежа в Opper AI, която е създала бенчмарка, заяви, че класическата игра „е интересен тест заради непрекъснатия поток от бързи решения с високи залози. На всяко кръстовище моделът трябва да реши накъде да продължи за няколкостотин милисекунди.“

Там, където вероятно по-способният модел на OpenAI може да има предимство, е мултимодалността — при класифицирането на изображения „Luna е изключително мощна и показва по-добри калибрации“, каза Ханда пред TechCrunch, като добави, че клиентите на OpenAI искат Decisions API да бъде по-гъвкав и по отношение на използването на изображения като изходни данни.

Ханда вижда и допълнително увеличаване на скоростта, което ще позволи нови приложения: „Можем ли да сведем това до нещо като 60 милисекунди, така че да си представите API заявка за всеки отделен кадър във видеоклип?“

С ускоряването и поевтиняването на тези предложения можем да очакваме те да оправдаят името на Jev — икономист, който обяснява как по-ефективното използване на даден ресурс го прави по-разпространен. Или, както го вижда Ханда, ще се появи разширяващ се „луд набор от приложения“, които са били пред очите ни, докато моделите за вземане на решения не са ги разкрили.