Модели принятия решений набирают популярность благодаря настройке под клиентов
Модели принятия решений быстро распространяются как альтернатива обычным большим языковым моделям. В октябре на них пришлось более четверти запросов через маршрутизатор ИИ-моделей Vercel. Такие системы не создают последовательность выходных токенов, а выбирают один из заранее заданных вариантов и оценивают степень уверенности. Это делает их полезными там, где важнее скорость и низкая стоимость, чем подробное рассуждение.
Модели семейства Jev компании TypeSafe остаются наиболее востребованными среди решений, по которым доступны публичные показатели, однако после их появления были выпущены десятки конкурирующих продуктов. Microsoft также начала широкое предоставление Microsoft-Decision-1.1 через Azure. В компании говорят, что при разработке учитывались одновременно стоимость, задержка, интеллектуальные возможности и калибровка, а не только результаты тестов.
Британский стартап Sqwish Labs делает ставку на настройку под конкретного клиента с помощью модели kettei fat. Компания объявила о предпосевном раунде на 3 миллиона долларов и предлагает инструменты посттренировочной обработки, позволяющие использовать производственные данные заказчика. По словам генерального директора Ushnish Sengupta, постоянная настройка должна отличать продукт от взаимозаменяемых решений. Модель хорошо показала себя на некоторых тестах, но Sqwish считает более важной проверку в конкретных рабочих условиях.
Соосновательница Federica Freddi ожидает, что модели принятия решений будут работать совместно с более мощными фронтирными LLM.
Текст подготовлен ИИ Sakhanda Wire по материалу TechCrunch. Факты, цитаты и полный контекст — в оригинальной статье ниже.