Baseten выпустила joey-1 — модель принятия решений на 2B за $0,01 за 1 млн токенов

Baseten выпустила joey-1 — модель с 2 млрд параметров из собственной исследовательской лаборатории Base Labs. Модель принятия решений joey-1 возвращает метку и калиброванную вероятность вместо сгенерированного текста. Она предназначена для маршрутизации больших объёмов запросов, классификации и проверок защитных ограничений. Baseten установила цену $0,01 за миллион входных токенов, а веса доступны в открытом виде на Hugging Face по лицензии MIT.

Кратко

Размер: 2 млрд параметров, дообучена на основе Qwen3.5-2B. Максимальная длина последовательности — 16 384 токена (Baseten заявляет 262 тыс. токенов для выделенных развёртываний).
Запуск: через Baseten Model APIs или самостоятельно на 1 CUDA GPU (объём VRAM не раскрывается). Официальных квантованных сборок не указано.
Производительность: лучшая модель с числом параметров менее 4 млрд в публичной выборке Jev Decision Index 0.4, согласно Baseten.
Лучший результат: 63,30 в Jev Decision Index 0.4 (публичная выборка), 37-е место среди 230 моделей.
Худший результат: уступает своей версии elephant-1 с 9 млрд параметров на 8,94 балла в той же выборке (63,30 против 72,24).
Итог: лучшее: решения за 20 мс на уровне P50 по цене $0,01 за 1 млн токенов. Хуже всего: менее обширные общие знания по сравнению со старшими моделями семейства.

Что такое joey-1?

joey-1 — модель принятия решений с 2 млрд параметров от Base Labs компании Baseten, которая отвечает на типизированные вопросы за 1 прямой проход. Вы отправляете состояние (текст или изображения) и 1 или несколько вопросов. Модель возвращает вероятность каждого варианта ответа на каждый вопрос. Она не генерирует произвольный текст, который вашему приложению пришлось бы разбирать.

Она поддерживает 3 типа вопросов:

choice: выбор 1 именованного варианта, например команды, ответственной за тикет.
yes/no (noul в API): возвращает вероятность ответа «да».
score: упорядоченные уровни, начиная с самого низкого, например степень срочности.

joey-1 — третий представитель семейства. На прошлой неделе Baseten выпустила mammoth-1 (27 млрд) и elephant-1 (9 млрд). Все 3 модели используют общие обучающие данные и API /v1/systemone, поэтому переход между ними требует изменения 1 строки.

Как работает joey-1?

Base Labs дообучила Qwen3.5-2B с помощью полного дообучения языковой модели. Энкодер изображений остаётся замороженным. В слоях с полным вниманием используется двунаправленная блочная маска. На все вопросы модель отвечает из 1 общего префиксного заполнения, поэтому дополнительные вопросы почти не увеличивают стоимость.

Детали обучения из карточки модели:

Данные: 6,21 млн примеров принятия решений. Состав: 58,3% базовых навыков принятия решений, 16,1% безопасности, 16,1% оценки и экспертных областей, 9,5% открытых данных.
Целевая функция: перекрёстная энтропия плюс член калибровки Бриера, с обучаемым вариантом «я не знаю».
Рецепт: 1 эпоха, 43 390 шагов, максимальная скорость обучения 1e-5, bf16.
Оборудование: 2 узла по 8 H100 GPU.

Калибровка позволяет установить порог уверенности. Неуверенные ответы можно передавать на обработку elephant-1, mammoth-1 или человеку.

Насколько быстра и дёшева joey-1?

Baseten сообщает о сквозной задержке P50 в 20 мс для среднего запроса объёмом 2 000 токенов. Это примерно в 2,5 раза быстрее elephant-1 (49 мс). В кратком описании блога также заявлено, что модель в 5 раз быстрее сопоставимых моделей принятия решений, однако их названия не приводятся.

Model APIs взимает $0,01 за 1 млн входных токенов; стоимость вывода и кэшированных входных данных указана как $0,00. elephant-1 стоит $0,035, а mammoth-1 — $0,10.

Пример Baseten: 10 млн тикетов поддержки в месяц примерно по 500 токенов каждый — это 5 млрд токенов. В случае joey-1 это около $50 против $500 для mammoth-1.

Как joey-1 показывает себя в бенчмарках?

Все приведённые ниже результаты указаны со слов Baseten в её карточке модели.

В публичной выборке Jev Decision Index 0.4 joey-1 набрала 63,30 балла. Это 37-е место среди 230 моделей и лучший результат среди моделей с числом параметров менее 4 млрд. Jev Decision Index — это общественный рейтинг на Hugging Face.

В той же выборке 27-миллиардная Clef от Cloudflare набрала 61,71 балла, а Jev 1.14 — 60,70.

joey-1 уступает elephant-1 во всех областях. Она превосходит Jev 1.14 в 4 из 5 областей, включая язык, инструменты и поиск.

В копии Artificial Analysis Decision Index от Baseten joey-1 набрала 62,9 балла против 65,9 у mammoth-1.

joey-1 и другие небольшие модели принятия решений

Характеристика	joey-1	elephant-1	Perplexity Decider Flash v1.2	Cloudflare Clef-Flash
Разработчик	Baseten (Base Labs)	Baseten (Base Labs)	Perplexity	Cloudflare
Параметры	2 млрд	9 млрд	4 млрд	9 млрд
Базовая модель	Qwen3.5-2B	Qwen3.5-9B	Qwen3.5-4B	Qwen3.5-9B
Лицензия	MIT	MIT	Apache-2.0	Apache-2.0
Входные данные	Текст, изображения	Текст, изображения	Текст, изображения	Текст, JSON, изображения, видео
Максимальный контекст	16 384 (Model APIs); 262 тыс. для выделенных развёртываний	16 тыс. (Model APIs); 262 тыс. для выделенных развёртываний	262 144 (обучена примерно до 32 тыс.)	16 384 по умолчанию
Цена API за 1 млн входных токенов	$0,01	$0,035	$0,01	Не раскрывается
Jev Decision Index 0.4 (публичная выборка)*	63,30	72,24	60,06	Не раскрывается
Заявленная задержка**	20 мс P50	49 мс P50	Не раскрывается	38,8 мс, медиана
Оборудование для самостоятельного размещения	1 CUDA GPU	Не раскрывается	Около 9 ГиБ весов BF16 на CUDA GPU	Протестирована на 1 H200
Доступ к весам	Открытый	Открытый	Закрытый репозиторий, требуется токен	Открытый

*Результаты Jev 0.4 для всех моделей взяты из карточки модели joey-1 от Baseten. **Показатели задержки несопоставимы. Baseten измеряет сквозную задержку на своей платформе; Cloudflare сообщает результаты собственного запуска Decision Index 0.2.1.

Как развернуть joey-1?

Model APIs: вызывайте decision-models/baseten-joey-2b-latest через /v1/systemone. Нулевое хранение данных включено по умолчанию.
Выделенные развёртывания: по словам Baseten, они обеспечивают контекст объёмом 262 тыс. токенов, дообученные веса и совместное размещение с рабочими нагрузками LLM.
Самостоятельное размещение: скачайте модель с Hugging Face и запустите setup.sh. Требуется 1 CUDA GPU и образ PyTorch 2.8 / CUDA 12.8.

Вы можете дообучить joey-1 с помощью Baseten Training Jobs, используя руководство по дообучению. joey-1 также представлена на OpenRouter по цене $0,01 за 1 млн входных токенов.

Главные выводы

joey-1 возвращает метки и калиброванные вероятности, а не текст.
Baseten сообщает о задержке P50 в 20 мс при цене $0,01 за 1 млн входных токенов.
63,30 в публичной выборке Jev Decision Index 0.4: лучшая модель с числом параметров менее 4 млрд.
Уступает elephant-1 на 8,94 балла; лучше всего подходит в качестве маршрутизатора первой линии.
Веса по лицензии MIT на Hugging Face; самостоятельный запуск на 1 CUDA GPU.

Ознакомьтесь с публикацией в блоге, карточкой модели, страницей модели в библиотеке и руководством по дообучению. Также подписывайтесь на нас в Twitter и не забудьте присоединиться к нашему сабреддиту о машинном обучении с более чем 150 тыс. участников и подписаться на нашу рассылку. Постойте! Вы есть в Telegram? теперь к нам можно присоединиться и в Telegram.

Хотите сотрудничать с нами для продвижения вашего репозитория GitHub, страницы на Hugging Face, выпуска продукта, вебинара и т. д.? Свяжитесь с нами

Переведено автоматически с английского. Оригинал статьи — по ссылке ниже.