Baseten випустила joey-1 — модель ухвалення рішень на 2B за $0,01 за 1 млн токенів

Baseten випустила joey-1, модель із 2 млрд параметрів від її внутрішньої дослідницької лабораторії Base Labs. Модель рішень joey-1 повертає мітку та калібровану ймовірність замість згенерованого тексту. Вона призначена для маршрутизації великих обсягів запитів, класифікації та перевірок захисних обмежень. Baseten встановила ціну $0,01 за мільйон вхідних токенів, а ваги доступні у відкритому доступі на Hugging Face за ліцензією MIT.

Коротко

Розмір: 2 млрд параметрів, донавчена модель на базі Qwen3.5-2B. Максимальна довжина послідовності — 16 384 токени (Baseten заявляє 262 тис. на виділених розгортаннях).
Працює на: Baseten Model APIs або на власному сервері з 1 CUDA GPU (обсяг VRAM не розкрито). Офіційних квантизованих збірок не зазначено.
Продуктивність: найкраща модель із кількістю параметрів до 4 млрд у публічній вибірці Jev Decision Index 0.4, за даними Baseten.
Найкращий результат: 63,30 у Jev Decision Index 0.4 (публічна вибірка), 37-ме місце серед 230 моделей.
Найгірший результат: поступається своїй версії-«сестрі» elephant-1 із 9 млрд параметрів на 8,94 бала в тій самій вибірці (63,30 проти 72,24).
Підсумок: найкраще: рішення за 20 мс P50 за $0,01 за 1 млн токенів. Найгірше: менше загальних знань, ніж у більших споріднених моделей.

Що таке joey-1?

joey-1 — це модель рішень із 2 млрд параметрів від Base Labs, підрозділу Baseten, яка відповідає на типізовані запитання за 1 прямий прохід. Ви надсилаєте стан (текст або зображення) і 1 чи більше запитань. Модель повертає ймовірність для кожного варіанта кожного запитання. Вона не створює довільний текст, який вашому застосунку довелося б аналізувати.

Вона підтримує 3 типи запитань:

choice: вибір 1 названого варіанта, наприклад команди, яка відповідає за заявку.
так/ні (noul в API): повертає ймовірність відповіді «так».
score: упорядковані рівні, від найнижчого до найвищого, наприклад терміновість.

joey-1 — третій член цього сімейства. Минулого тижня Baseten випустила mammoth-1 (27 млрд) та elephant-1 (9 млрд). Усі 3 моделі використовують однакові навчальні дані та API /v1/systemone, тож перехід виконується однією зміною в рядку.

Як працює joey-1?

Base Labs донавчила Qwen3.5-2B шляхом повного донавчання мовної моделі. Візуальний енкодер залишається замороженим. У шарах із повною увагою використовується двонапрямна маска блоків. Усі запитання отримують відповіді з одного попереднього заповнення спільного префікса, тому додаткові запитання майже не збільшують вартість.

Деталі навчання з картки моделі:

Дані: 6,21 млн прикладів рішень. Склад: 58,3% базових навичок ухвалення рішень, 16,1% безпеки, 16,1% оцінювання та експертних галузей, 9,5% публічних даних.
Цільова функція: перехресна ентропія плюс складова калібрування Бр'є, з навченою опцією «Я не знаю».
Рецепт: 1 епоха, 43 390 кроків, максимальна швидкість навчання 1e-5, bf16.
Обладнання: 2 вузли по 8 графічних процесорів H100.

Калібрування дає змогу встановити поріг упевненості. Невпевнені відповіді можна передати на обробку elephant-1, mammoth-1 або людині.

Наскільки швидкою та дешевою є joey-1?

Baseten повідомляє про наскрізну затримку P50 у 20 мс для середнього запиту на 2 000 токенів. Це приблизно у 2,5 раза швидше, ніж elephant-1 (49 мс). У короткому описі блогу також заявлено, що модель у 5 разів швидша за зіставні моделі рішень, але не вказано, які саме.

Model APIs стягує $0,01 за 1 млн вхідних токенів; вихідні та кешовані вхідні токени вказані за ціною $0,00. elephant-1 коштує $0,035, а mammoth-1 — $0,10.

Приклад Baseten: 10 млн заявок до служби підтримки на місяць, приблизно по 500 токенів кожна, — це 5 млрд токенів. Для joey-1 це коштуватиме близько $50, тоді як для mammoth-1 — $500.

Як joey-1 показує себе в бенчмарках?

Усі наведені нижче результати є даними самої Baseten із її картки моделі.

У публічній вибірці Jev Decision Index 0.4 joey-1 набирає 63,30 бала. Це 37-ме місце серед 230 моделей і найкращий результат серед моделей із кількістю параметрів до 4 млрд. Jev Decision Index — це спільнотний рейтинг на Hugging Face.

У тій самій вибірці 27-мільярдна Clef від Cloudflare набирає 61,71 бала, а Jev 1.14 — 60,70.

joey-1 поступається elephant-1 у кожній категорії. Вона випереджає Jev 1.14 у 4 з 5 категорій, зокрема в мовних завданнях, роботі з інструментами та пошуку.

У репліці Artificial Analysis Decision Index від Baseten joey-1 набирає 62,9 бала проти 65,9 у mammoth-1.

joey-1 проти інших малих моделей рішень

Характеристика	joey-1	elephant-1	Perplexity Decider Flash v1.2	Cloudflare Clef-Flash
Розробник	Baseten (Base Labs)	Baseten (Base Labs)	Perplexity	Cloudflare
Параметри	2 млрд	9 млрд	4 млрд	9 млрд
Базова модель	Qwen3.5-2B	Qwen3.5-9B	Qwen3.5-4B	Qwen3.5-9B
Ліцензія	MIT	MIT	Apache-2.0	Apache-2.0
Вхідні дані	Текст, зображення	Текст, зображення	Текст, зображення	Текст, JSON, зображення, відео
Максимальний контекст	16 384 (Model APIs); 262 тис. на виділених розгортаннях	16 тис. (Model APIs); 262 тис. на виділених розгортаннях	262 144 (навчання приблизно до 32 тис.)	16 384 за замовчуванням
Ціна API за 1 млн вхідних токенів	$0,01	$0,035	$0,01	Не розкрито
Jev Decision Index 0.4 (публічна вибірка)*	63,30	72,24	60,06	Не розкрито
Заявлена затримка**	20 мс P50	49 мс P50	Не розкрито	38,8 мс, медіана
Обладнання для власного розгортання	1 CUDA GPU	Не розкрито	Близько 9 ГіБ ваг BF16 на CUDA GPU	Протестовано на 1 H200
Доступ до ваг	Публічний	Публічний	Приватний репозиторій, потрібен токен	Публічний

*Оцінки Jev 0.4 для всіх моделей взято з картки моделі joey-1 від Baseten. **Показники затримки не можна безпосередньо порівнювати. Baseten вимірює наскрізну затримку на своїй платформі; Cloudflare повідомляє результати власного запуску Decision Index 0.2.1.

Як розгорнути joey-1?

Model APIs: викликайте decision-models/baseten-joey-2b-latest за адресою /v1/systemone. Нульове зберігання даних увімкнено за замовчуванням.
Виділені розгортання: за словами Baseten, вони забезпечують контекст до 262 тис. токенів, донавчені ваги та спільне розміщення з робочими навантаженнями LLM.
Власний хостинг: завантажте модель із Hugging Face і запустіть setup.sh. Потрібні 1 CUDA GPU та образ PyTorch 2.8 / CUDA 12.8.

Ви можете донавчити joey-1 у Baseten Training Jobs за допомогою посібника з донавчання. joey-1 також доступна на OpenRouter за ціною $0,01 за 1 млн вхідних токенів.

Ключові висновки

joey-1 повертає мітки та калібровані ймовірності, а не текст.
Baseten повідомляє про затримку P50 у 20 мс за ціною $0,01 за 1 млн вхідних токенів.
63,30 у публічній вибірці Jev Decision Index 0.4: найкраща модель із кількістю параметрів до 4 млрд.
Поступається elephant-1 на 8,94 бала; найкраще підходить як маршрутизатор першої лінії.
Ваги за ліцензією MIT на Hugging Face; власне розгортання на 1 CUDA GPU.

Ознайомтеся з публікацією в блозі, карткою моделі, сторінкою моделі в бібліотеці та посібником із донавчання. Також підписуйтеся на нас у Twitter і не забудьте приєднатися до нашого субреддіту про машинне навчання з понад 150 тис. учасників та підписатися на нашу розсилку. Стривайте! Ви є в Telegram? Тепер ви також можете приєднатися до нас у Telegram.

Потрібно співпрацювати з нами для просування вашого репозиторію GitHub, сторінки на Hugging Face, релізу продукту, вебінару тощо? Зв’яжіться з нами

Перекладено автоматично з англійської. Оригінал статті — за посиланням нижче.