Руководство показывает типизированные решения с моделью Jev
Новое практическое руководство описывает Jev, первую модель System One компании TypeSafe AI, предназначенную для структурированных оценок, а не для генерации текста. Приложение передаёт модели состояние программы и набор типизированных вопросов, получая ответы, которые можно напрямую использовать в ветвлении кода. В руководстве показана установка официального Python SDK и один запрос с примитивами Choice, Score и Noul.
Материал объясняет, как форма состояния влияет на доступную модели информацию: рассматриваются строки, массивы и структурированные объекты. Также показан пересчёт опубликованного показателя уверенности на основе возвращённых вероятностей. Отдельное измерение сравнивает пакетную отправку десяти вопросов с десятью независимыми вызовами.
В следующих примерах рассматриваются маршрутизация с порогом уверенности, составные оценки с весами, хранящимися в коде приложения, типизированный вызов функций и подсчёт, соответствующий возможностям модели. Производственный вариант включает модели ответов Pydantic, асинхронный клиент с распараллеливанием через asyncio, политики повторных попыток и типизированные ошибки. Итоговый журнал учитывает вызовы, токены и стоимость всей работы.
Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.