Новый тип ИИ-модели от создателя ChatGPT воодушевляет разработчиков

ChatGPT разбил сердце Диого Алмейды.

Алмейда был исследователем OpenAI, помогавшим создавать чат-бота, а затем изобрёл обучение с подкреплением на основе обратной связи от человека (RLHF) — методику обучения моделей, которая, возможно, в наибольшей степени ответственна за нашу нынешнюю эпоху ИИ. Но несмотря на свои возможности, он был разочарован.

«У нас в бутылке заключена молния, и всё же это не полезно», — рассказал Алмейда TechCrunch. «С тех пор я борюсь с этой проблемой. Мне потребовалось некоторое время, чтобы прийти к выводу: проблема в том, что мы оптимизируем человеческий язык … На протяжении четырёх лет мы были невероятно хороши в работе с человеческим языком, но для автоматизации это бесполезно, потому что компьютеры говорят на другом языке».

Два года назад Алмейда ушёл из OpenAI, чтобы основать TypeSafe AI — стартап, пытающийся решить эту проблему. На этой неделе компания выпустила новую модель на основе трансформера под названием Jev, которая не является большой языковой моделью (LLM). Она не генерирует текст, а выдаёт вероятности — или то, что в компании называют «калиброванными решениями».

Отказ от языка даёт несколько преимуществ: модель становится невероятно дешёвой и быстрой, а поскольку пользователи заранее определяют выходные данные, она не может галлюцинировать. Её выходные токены бесплатны, а входные тарифицируются миллиардами, а не миллионами.

Разработчики проявляют к продукту большой интерес; на короткое время компания даже потеряла возможность обслуживать пользователей через свой API из-за слишком высокого спроса. Jev, по-видимому, наиболее полезна для автоматизации программного обеспечения. Пока разработчики ПО видят в ней более дешёвый и надёжный способ внедрить интеллектуальные возможности в свой код.

Например, Пранит Шарма, инженер-программист в Vercel — компании, создающей инфраструктуру для агентных систем, — рассказал, что его компания использовала ChatGPT Luna 5.6 от OpenAI для запуска классификатора, проверяющего команды на безопасность. Когда Vercel заменила Luna от OpenAI на Jev, результаты стали получаться в 5–18 раз быстрее и с большей точностью.

Другой разработчик, технический директор Bryo AI Никхил Мудхолкар, протестировал Jev в сравнении с Gemini для классификации деловых электронных писем. В его тесте Gemini оказалась немного точнее, но стоила в 10–20 раз дороже. Больше всего Мудхолкара заинтересовали показатели уверенности Jev — «это единственная модель, которая возвращает настоящую вероятность, что делает её идеальной для автоматизации рабочих процессов!!»

Помимо замены LLM в определённых сценариях использования, новая модель может также дополнять их, выступая в роли интеллектуального средства проверки некорректного поведения. Использование агентов для мониторинга агентов может быстро стать дорогим, но, утверждает Алмейда, применение Jev для этой цели имеет смысл. Он видит, как пользователи разворачивают Jev для отслеживания трассировок LLM-агентов и предотвращения джейлбрейков.

«В конечном счёте она лишь немного перекладывает проблему галлюцинаций на пользователя, — объяснил Армин Роначер, технический директор Earendil, создающей открытый каркас моделей Pi. — Пользователь должен сказать: ладно, если вероятность этого ответа составляет всего 50%, возможно, это подбрасывание монетки, и я его проигнорирую. Но если она равна 95%, тогда, конечно, я могу что-то с этим сделать».

Ещё одним потенциальным применением Jev, по словам Роначера, может стать маршрутизация моделей. Было бы полезно предсказывать, требует ли конкретная рабочая нагрузка определённой модели, но использование LLM для такой задачи оказалось бы дорогим. Низкая стоимость и высокая скорость Jev делают возможной подобную сортировку в реальном времени.

И именно на это надеется Алмейда. Модель названа в честь Уильяма Стэнли Джевонса, экономиста XIX века, именем которого назван парадокс, описывающий, как снижение стоимости товара может привести к его всё более широкому использованию. В данном случае падение стоимости интеллектуальных возможностей должно привести к их повсеместному внедрению.

«Мы думаем, что умное программное обеспечение просто повсюду появится — стихийно и распределённо … гораздо больше похожее на ранний интернет, чем на мега-приложения, которые люди пытаются создавать прямо сейчас», — сказал Алмейда.

Алмейда не раскрывает подробностей об архитектуре модели; сторонние наблюдатели подозревают, что она построена поверх LLM с открытыми весами. Компания называет Jev «моделью System One», сфокусированной на интуиции, а не на рассуждениях, и специально ориентированной на правильную задачу. Алмейда говорит, что Jev обучается исключительно на синтетических данных с использованием метода, который он называет «обучением с подкреплением на основе калиброванных решений».

«Мы рано сделали ставку на то, что будем создавать все наши данные, и это одна из лучших ставок в моей жизни — на мой взгляд, лучше, чем запуск компании, лучше, чем RLHF, — рассказал он TechCrunch. — Половина [нашей компании] — это лаборатория, которая фактически владеет всем этим направлением статистически понятных синтетических данных, и теперь это моя радость жизни».

Пока Jev остаётся единственной моделью такого типа, но Роначер ожидает, что теперь, когда её полезность стала очевидной, появятся конкуренты.

«Во многих отношениях мы должны были заметить это раньше, но, вероятно, поскольку LLM настолько дешёвы и субсидируются, вам пока часто не приходится проявлять изобретательность», — сказал он.

Сама TypeSafe будет создавать новые версии модели в новых модальностях. На вопрос, является ли TypeSafe передовой лабораторией, Алмейда ответил: «Главный продукт передовых лабораторий — это страх или ажиотаж. Я хотел бы, чтобы нашим главным продуктом был интеллект…[но мы] не лаборатория в смысле, знаете, ставки на бесконечное богатство, религию, создание Бога в центре обработки данных или что там сегодня принято считать таким продуктом».