Моделі ухвалення рішень набирають популярності завдяки налаштуванню
Моделі ухвалення рішень швидко поширюються як альтернатива традиційним великим мовним моделям. У жовтні на них припало понад чверть запитів через маршрутизатор ШІ-моделей Vercel. Замість генерування послідовності вихідних токенів такі системи обирають один із заздалегідь визначених варіантів і оцінюють рівень упевненості. Це робить їх придатними для сценаріїв, де швидкість і низька вартість важливіші за розгорнуте міркування.
Моделі сімейства Jev від TypeSafe залишаються найпопулярнішими серед рішень із доступними публічними показниками, але після їхньої появи було випущено десятки конкурентних продуктів. Microsoft також почала широке розгортання Microsoft-Decision-1.1 через Azure. У компанії заявляють, що модель створювали з урахуванням вартості, затримки, інтелектуальних можливостей і калібрування, а не лише результатів тестів.
Британський стартап Sqwish Labs пропонує персоналізацію за допомогою моделі kettei fat. Компанія оголосила про пре-сід раунд на 3 мільйони доларів і розробила інструменти післятренувального налаштування, які дають клієнтам змогу використовувати власні виробничі дані. За словами генерального директора Ushnish Sengupta, безперервне налаштування має відрізнити продукт від взаємозамінних рішень. Модель добре показала себе на деяких тестах, однак Sqwish вважає перевірку в конкретному робочому середовищі важливішою.
Співзасновниця Federica Freddi очікує, що моделі ухвалення рішень працюватимуть разом із потужнішими фронтирними LLM.
Текст підготовлено ШІ Sakhanda Wire за матеріалом TechCrunch. Факти, цитати та повний контекст — в оригінальній статті нижче.