Baseten пуска joey-1, 2B модел за вземане на решения на цена $0,01 за 1 млн токена

Baseten пусна joey-1 — модел с 2B параметъра от собствената си изследователска лаборатория Base Labs. Моделът за вземане на решения joey-1 връща етикет и калибрирана вероятност вместо генериран текст. Той е предназначен за маршрутизиране, класификация и проверки на защитни механизми в голям обем. Baseten предлага модела на цена от $0.01 за милион входни токени, с отворени тегла в Hugging Face под лиценз MIT.

Накратко

Размер: 2B параметъра, дообучен от Qwen3.5-2B. Максимална дължина на последователността от 16 384 токена (Baseten посочва 262k при специализирани внедрявания).
Работи на: Baseten Model APIs или самостоятелно хостван на 1 CUDA GPU (обемът на VRAM не е посочен). Няма посочени официални квантизирани версии.
Производителност: Най-добрият модел под 4B в публичния сплит на Jev Decision Index 0.4, според Baseten.
Най-добър резултат: 63.30 в Jev Decision Index 0.4 (публичен сплит), класиран на #37 от 230 модела.
Най-слаб резултат: Изостава с 8.94 точки от своя по-голям събрат elephant-1 в същия сплит (63.30 срещу 72.24).
Извод: Най-добро: решения с P50 от 20 ms за $0.01 на 1M токена. Най-лошо: по-малко общи знания в сравнение с по-големите му събратя.

Какво представлява joey-1?

joey-1 е модел за вземане на решения с 2B параметъра от Base Labs на Baseten, който отговаря на типизирани въпроси с 1 преден проход. Изпращате състояние (текст или изображения) и 1 или повече въпроси. Моделът връща вероятност за всяка опция на всеки въпрос. Той не генерира свободен текст, който приложението ви трябва да анализира.

Поддържа 3 типа въпроси:

choice: избира 1 наименувана опция, например кой екип отговаря за даден билет.
yes/no (noul в API): връща вероятността за отговор „да“.
score: подредени нива, започващи от най-ниското, например спешност.

joey-1 е третият член на семейство. Миналата седмица Baseten пусна mammoth-1 (27B) и elephant-1 (9B). И трите модела използват едни и същи обучаващи данни и API /v1/systemone, така че преминаването между тях изисква промяна само на 1 ред.

Как работи joey-1?

Base Labs дообучи Qwen3.5-2B чрез пълно дообучаване на езиковия модел. Визуалният енкодер остава замразен. Слоевете с пълно внимание използват двупосочна блокова маска. Всички въпроси получават отговор от 1 предварително запълнен споделен префикс, така че допълнителните въпроси почти не увеличават разходите.

Данни за обучението от картата на модела:

Данни: 6.21 млн. примера за вземане на решения. Разпределение: 58.3% основни умения за вземане на решения, 16.1% безопасност, 16.1% оценяване и експертни области, 9.5% публични данни.
Целева функция: кръстосана ентропия плюс термин за калибриране на Brier, с обучена опция „Не знам“.
Методика: 1 епоха, 43 390 стъпки, максимална скорост на обучение 1e-5, bf16.
Хардуер: 2 възела с по 8 H100 GPU.

Калибрирането ви позволява да зададете праг на увереност. Несигурните отговори могат да бъдат прехвърлени към elephant-1, mammoth-1 или човек.

Колко бърз и евтин е joey-1?

Baseten отчита P50 латентност от край до край от 20 ms при средна заявка от 2 000 токена. Това е около 2.5 пъти по-бързо от elephant-1 (49 ms). В TL;DR на публикацията също се твърди, че моделът е 5 пъти по-бърз от сравними модели за вземане на решения, без да се посочва кои са те.

Model APIs таксуват $0.01 за 1 млн. входни токена; изходът и кешираният вход са посочени като $0.00. elephant-1 струва $0.035, а mammoth-1 струва $0.10.

Примерът на Baseten: 10 млн. заявки към отдела за поддръжка месечно, с около 500 токена всяка, представляват 5 млрд. токена. Това струва около $50 с joey-1 срещу $500 с mammoth-1.

Как се представя joey-1 на бенчмаркове?

Всички резултати по-долу са съобщени от самия Baseten в картата на модела.

В публичния сплит на Jev Decision Index 0.4 joey-1 постига 63.30. Това го поставя на #37 от 230 модела и е най-високият резултат сред моделите под 4B. Jev Decision Index е общностна класация в Hugging Face.

В същия сплит Clef на Cloudflare с 27B параметъра постига 61.71, а Jev 1.14 — 60.70.

joey-1 изостава от elephant-1 във всяка област. Той надминава Jev 1.14 в 4 от 5 области, включително език, инструменти и извличане.

В репликата на Baseten на Artificial Analysis Decision Index joey-1 постига 62.9 срещу 65.9 за mammoth-1.

joey-1 срещу други малки модели за вземане на решения

Характеристика	joey-1	elephant-1	Perplexity Decider Flash v1.2	Cloudflare Clef-Flash
Разработчик	Baseten (Base Labs)	Baseten (Base Labs)	Perplexity	Cloudflare
Параметри	2B	9B	4B	9B
Базов модел	Qwen3.5-2B	Qwen3.5-9B	Qwen3.5-4B	Qwen3.5-9B
Лиценз	MIT	MIT	Apache-2.0	Apache-2.0
Входове	Текст, изображения	Текст, изображения	Текст, изображения	Текст, JSON, изображения, видео
Максимален контекст	16 384 (Model APIs); 262k при специализирано внедряване	16k (Model APIs); 262k при специализирано внедряване	262 144 (обучен до около 32k)	16 384 по подразбиране
Цена на API за 1 млн. входни токена	$0.01	$0.035	$0.01	Не е посочена
Jev Decision Index 0.4 (публичен)*	63.30	72.24	60.06	Не е посочен
Отчетена латентност**	20 ms P50	49 ms P50	Не е посочена	38.8 ms медиана
Хардуер за самостоятелно хостване	1 CUDA GPU	Не е посочен	Около 9 GiB BF16 тегла на CUDA GPU	Тестван на 1 H200
Достъп до теглата	Публичен	Публичен	Частно хранилище, необходим е токен	Публичен

*Резултатите на Jev 0.4 за всички модели са взети от картата на модела joey-1 на Baseten. **Стойностите за латентност не са сравними. Baseten измерва латентността от край до край на своята платформа; Cloudflare отчита собствено изпълнение на Decision Index 0.2.1.

Как внедрявате joey-1?

Model APIs: извикайте decision-models/baseten-joey-2b-latest на адрес /v1/systemone. Запазването на нулеви данни е включено по подразбиране.
Специализирани внедрявания: Baseten посочва, че те осигуряват контекст от 262k, дообучени тегла и съвместно разполагане с LLM натоварвания.
Самостоятелно хостване: изтеглете модела от Hugging Face и изпълнете setup.sh. Необходим е 1 CUDA GPU и образ с PyTorch 2.8 / CUDA 12.8.

Можете да дообучите joey-1 чрез Baseten Training Jobs, като използвате ръководството за дообучаване. joey-1 е наличен и в OpenRouter на цена от $0.01 за 1 млн. входни токена.

Основни изводи

joey-1 връща етикети и калибрирани вероятности, а не текст.
Baseten отчита латентност от 20 ms P50 при цена от $0.01 за 1 млн. входни токена.
63.30 в публичния сплит на Jev Decision Index 0.4: най-добрият модел под 4B.
Изостава от elephant-1 с 8.94 точки; най-подходящ е като маршрутизатор на първа линия.
MIT тегла в Hugging Face; самостоятелно хостване на 1 CUDA GPU.

Вижте публикацията в блога, картата на модела, страницата на модела в библиотеката и ръководството за дообучаване. Също така можете да ни последвате в Twitter и не забравяйте да се присъедините към нашия ML SubReddit с над 150 хил. членове и да се абонирате за нашия бюлетин. Чакайте! В Telegram ли сте? Вече можете да се присъедините към нас и в Telegram.

Искате да си партнирате с нас за популяризиране на вашето GitHub хранилище, страница в Hugging Face, продуктово представяне, уебинар и др.? Свържете се с нас

Преведено автоматично от английски. Оригиналната статия е на връзката по-долу.