Samaya AI пуска Sterling: модел-агент за финансови изследвания с 3B активни параметри, който надминава Claude Fable 5.1 във FrontierFinance при 11 пъти по-ниска цена

Samaya AI пусна Samaya Sterling — модел, дообучен за агентни финансови изследвания. Sterling е изграден върху Nemotron 3.5 Lightning на NVIDIA — модел със смес от експерти с 30 млрд. параметъра, от които 3 млрд. са активни. В бенчмарка FrontierFinance на Samaya той постига 58,9%. Claude Fable 5.1 постига 55,9%. Всеки въпрос към Sterling струва $0,61 в сравнение с $6,89 за Fable 5.1. За разработчиците изводът е конкретна рецепта: обучавайте съвместно малък модел и неговата среда за работа и той може да се представи по-добре в тясна област.

Накратко

• Размер: 30 млрд. общо, 3 млрд. активни (MoE). Контекстът на базовия модел е до 1 млн. токена. Контекстът при изпълнение на Sterling не е разкрит.
• Работи на: базовият модел се побира на един H100 с 80 GB в BF16 (контекст от 256 хил. токена). Хардуерът за изпълнение на Sterling не е разкрит.
• Производителност: превъзхожда всички висококачествени системи в класацията на FrontierFinance по качество на долар (по данни на Samaya).
• Най-добър резултат: 58,9% във FrontierFinance (60,6% в режим с високо усилие) спрямо 55,9% за Claude Fable 5.1.
• Най-слаб резултат: 45,2% при най-трудната третина от въпросите във FrontierFinance.

Какво представлява Samaya Sterling?

Samaya Sterling е версия на Nemotron 3.5 Lightning, дообучена с LoRA и настроена да работи като агент за финансови изследвания. Тя планира изследването, извиква финансови инструменти, събира доказателства и предава резултатите на отделен автор на доклада. Според съобщението на Maithra Raghu в X проектът е започнал като инициатива на двама души за повишаване на ефективността на агентната оркестрация.

Как средата за работа подпомага модел с 3 млрд. активни параметъра?

Екипът на Samaya адаптира производствената си финансова среда за работа за малък модел. Подробните указания са премахнати от системния промпт и описанията на инструментите. Инструментите са обединени, за да се съкрати промптът. Два помощни модела управляват контекста. Кондензатор съкращава дългите резултати от инструментите. Компактор обобщава трасето, докато то се разраства. Бюджетът за изследването ограничава продължителността на работа на агента. След това авторът на доклада отговаря въз основа на откритото.

Как е обучен Sterling?

Обучението използва LoRA върху Tinker — API за обучение на Thinking Machines Lab. То премина през 4 етапа:

1. SFT върху синтетични трасета: Samaya генерира 968 синтетични въпроса от анализатори. Учителят Kimi K3 отговори на всеки въпрос два пъти, а съдия-модел избра по-добрия отговор. Моделът се научи да извиква 37 инструмента с валидни аргументи.
2. SFT върху най-добрата от 8 стратегии: Kimi K3 отговори на 1819 въпроса, написани от експерти, използвайки 8 изследователски стратегии. Най-високо оцененият отговор за всеки въпрос стана част от обучаващите данни. Най-добрата от 8 стратегии покри 80% от основните елементи на рубриката спрямо около 66% за единичната най-добра стратегия. След филтрирането останаха 1157 въпроса.
3. Офлайн GRPO: GRPO оцени и сравни всичките 8 отговора на учителя. Не беше необходимо ново генериране, така че всяка стъпка беше евтина.
4. Онлайн GRPO: Моделът отговори на всеки въпрос 8 пъти и се учеше от оценените опити. Усеченото importance sampling коригира известното несъответствие между семплерите при MoE.

Как се представя Sterling във FrontierFinance?

FrontierFinance съдържа 220 публични заявки, оценявани спрямо рубрики, написани от експерти. Оценяващата система използва панел от 3 съдия-модела. Екипът на Samaya заявява, че нито един въпрос от бенчмарка не е използван при обучението. Контролните точки са избрани въз основа на 100 вътрешни въпроса за валидация.

Sterling постига 58,9% при цена $0,61 и 282 секунди на въпрос. Fable 5.1 постига 55,9% при $6,89 и 268 секунди. Собствената система на Samaya с високо усилие постига резултат с 2,9 процентни пункта по-нисък при цена $1,81.

Всеки етап добавя качество: 42,5% (базов модел), 51,4%, 54,8%, 57,5%, а след това 58,9%. Медианният брой извиквания на инструменти се увеличава от 3 на 17. В режим с високо усилие Sterling достига 60,6% при цена $1,83 и 372 секунди. При най-трудната третина резултатът се повишава от 31,8% на 45,2%.

Самият модел струва $0,04 на въпрос. Инструментите и помощните модели формират останалата част от $0,61.

Как се сравнява Sterling?

Характеристика	Samaya Sterling	Claude Fable 5.1	Samaya System, високо усилие	Базов Nemotron 3.5 Lightning
Общо / активни параметри	30 млрд. / 3 млрд.	Не е разкрито	Не е разкрито	30 млрд. / 3 млрд.
Контекст	Не е разкрит	1 млн.	Не е разкрит	До 1 млн.
Лиценз / достъп	Няма обявени публични тегла или API	Собственически API	Платформата на Samaya	OpenMDW-1.1, отворени тегла
Резултат във FrontierFinance	58,9% (60,6% при високо усилие)	55,9%	56,0% (58,9 минус 2,9 пр. п.)	42,5%
Цена на въпрос	$0,61 ($1,83 при високо усилие)	$6,89	$1,81	Не е разкрита
Латентност на въпрос	282 сек. (372 сек. при високо усилие)	268 сек.	278 сек.	Не е разкрита
Ценообразуване на токени	Не е разкрито	$10 / $50 на MTok	Не е разкрито	Не е разкрито

Данните за FrontierFinance във всички колони са взети от блога на Samaya и са предоставени от самата компания.

Основни изводи

• Sterling постига 58,9% във FrontierFinance — с 3,0 пункта над Claude Fable 5.1.
• Цената на въпрос намалява 11 пъти: $0,61 спрямо $6,89.
• 3 млрд. активни параметъра, обучени с 2 SFT и 2 GRPO етапа.
• Съвместното обучение на средата за работа и модела води до подобренията.
• Всички резултати са предоставени от Samaya за собствения ѝ бенчмарк.

---

Разгледайте техническия блог, бенчмарка FrontierFinance, набора от данни и хранилището на оценяващата система. Също така ни последвайте в Twitter и не забравяйте да се присъедините към нашия ML SubReddit с над 150 хил. членове и да се абонирате за нашия бюлетин. Чакайте! В Telegram ли сте? Вече можете да се присъедините към нас и в Telegram.

Искате да си партнирате с нас за популяризиране на вашето GitHub хранилище, страница в Hugging Face, продуктово представяне, уебинар и др.? Свържете се с нас