Samaya AI випускає Sterling: модель-агент для фінансових досліджень із 3 млрд активних параметрів, що перевершує Claude Fable 5.1 у FrontierFinance за вартості у 11 разів нижчої

Samaya AI випустила Samaya Sterling — посттренувальну модель для агентних фінансових досліджень. Sterling побудована на базі Nemotron 3.5 Lightning від NVIDIA — моделі суміші експертів із 30 млрд параметрів, з яких активними є 3 млрд. На бенчмарку FrontierFinance від Samaya вона набирає 58,9%. Claude Fable 5.1 набирає 55,9%. Кожне запитання до Sterling коштує $0,61 проти $6,89 для Fable 5.1. Для розробників висновок полягає в конкретному рецепті: спільно навчайте невелику модель і її середовище — і вона може перемагати у вузькій галузі.

Коротко

• Розмір: 30 млрд загалом, 3 млрд активних параметрів (MoE). Контекст базової моделі: до 1 млн токенів. Контекст Sterling під час роботи: не розкрито.
• Запуск: базова модель поміщається на одному H100 80 ГБ у BF16 (контекст 256 тис. токенів). Обладнання для роботи Sterling: не розкрито.
• Продуктивність: перевершує всі високоякісні системи в таблиці лідерів FrontierFinance за якістю на долар (за власними даними).
• Найкращий результат: 58,9% на FrontierFinance (60,6% у режимі підвищених зусиль) проти 55,9% у Claude Fable 5.1.
• Найгірший результат: 45,2% на найскладнішій третині запитань FrontierFinance.

Що таке Samaya Sterling?

Samaya Sterling — це версія Nemotron 3.5 Lightning, донавчена за допомогою LoRA та налаштована для роботи як агент фінансових досліджень. Вона планує дослідження, викликає фінансові інструменти, збирає докази й передає результати окремому автору звіту. Згідно з повідомленням Maithra Raghu в X, спочатку це був проєкт двох людей, зосереджений на ефективності агентної оркестрації.

Як середовище підтримує модель із 3 млрд активних параметрів?

Команда Samaya адаптувала своє виробниче фінансове середовище для невеликої моделі. Детальні інструкції прибрали із системного запиту та описів інструментів. Інструменти об’єднали, щоб скоротити запит. Дві допоміжні моделі керують контекстом. Конденсор скорочує довгі результати роботи інструментів. Компактор узагальнює трасування в міру його розростання. Бюджет дослідження обмежує тривалість роботи агента. Після цього автор звіту формує відповідь на основі знайденого.

Як навчали Sterling?

Для навчання використовували LoRA на базі Tinker — API для навчання від Thinking Machines Lab. Навчання проходило у 4 етапи:

1. SFT на синтетичних трасуваннях: Samaya згенерувала 968 синтетичних запитань аналітиків. Учитель, Kimi K3, двічі відповів на кожне запитання, а суддя на базі LLM обрав кращу відповідь. Модель навчилася викликати 37 інструментів із коректними аргументами.
2. SFT на найкращій із 8 стратегій: Kimi K3 відповів на 1819 запитань, написаних експертами, використовуючи 8 дослідницьких стратегій. Відповідь із найвищою оцінкою для кожного запитання стала навчальними даними. Найкраща з 8 стратегій охопила 80% ключових пунктів критеріїв проти приблизно 66% для однієї найкращої стратегії. Після фільтрації залишилося 1157 запитань.
3. Офлайн-GRPO: GRPO оцінював усі 8 відповідей учителя одна відносно одної. Нової генерації не було потрібно, тому кожен крок був дешевим.
4. Онлайн-GRPO: модель відповідала на кожне запитання 8 разів і навчалася на оцінених спробах. Усічене семплювання за важливістю виправляло відому невідповідність семплера MoE.

Як Sterling оцінюється на FrontierFinance?

FrontierFinance містить 220 загальнодоступних запитів, оцінених за критеріями, написаними експертами. Оцінювач використовує панель із 3 моделей-суддів. Команда Samaya стверджує, що жодне запитання з бенчмарку не використовувалося під час навчання. Контрольні точки обиралися на 100 внутрішніх запитаннях для валідації.

Sterling набирає 58,9% за вартості $0,61 і 282 с на запитання. Fable 5.1 набирає 55,9% за вартості $6,89 і 268 с. Власна система Samaya у режимі підвищених зусиль набирає на 2,9 пункту менше за вартості $1,81.

Кожен етап підвищував якість: 42,5% (базова модель), 51,4%, 54,8%, 57,5%, а потім 58,9%. Медіанна кількість викликів інструментів зросла з 3 до 17. У режимі підвищених зусиль Sterling досягає 60,6% за вартості $1,83 і 372 с. На найскладнішій третині запитань результат зріс із 31,8% до 45,2%.

Сама модель коштує $0,04 за запитання. Інструменти та допоміжні моделі формують решту вартості — $0,61.

Як Sterling виглядає на тлі інших?

Характеристика	Samaya Sterling	Claude Fable 5.1	Система Samaya, підвищені зусилля	Базова Nemotron 3.5 Lightning
Загальна / активна кількість параметрів	30 млрд / 3 млрд	Не розкрито	Не розкрито	30 млрд / 3 млрд
Контекст	Не розкрито	1 млн	Не розкрито	До 1 млн
Ліцензія / доступ	Публічні ваги або API не оголошені	Пропрієтарний API	Платформа Samaya	OpenMDW-1.1, відкриті ваги
Результат FrontierFinance	58,9% (60,6% у режимі підвищених зусиль)	55,9%	56,0% (58,9 мінус 2,9 в. п.)	42,5%
Вартість за запитання	$0,61 ($1,83 у режимі підвищених зусиль)	$6,89	$1,81	Не розкрито
Затримка на запитання	282 с (372 с у режимі підвищених зусиль)	268 с	278 с	Не розкрито
Ціни на токени	Не розкрито	$10 / $50 за 1 млн токенів	Не розкрито	Не розкрито

Показники FrontierFinance для всіх стовпців взято з блогу Samaya; вони наведені за власними даними.

Ключові висновки

• Sterling набирає 58,9% на FrontierFinance — на 3,0 пункту більше, ніж Claude Fable 5.1.
• Вартість одного запитання зменшується в 11 разів: $0,61 проти $6,89.
• 3 млрд активних параметрів, навчання у 2 етапи SFT і 2 етапи GRPO.
• Спільне навчання середовища та моделі забезпечує приріст.
• Усі результати отримано за власними даними на власному бенчмарку Samaya.

---

Ознайомтеся з технічним блогом, бенчмарком FrontierFinance, набором даних і репозиторієм оцінювача. Також підписуйтеся на нас у Twitter і не забудьте приєднатися до нашого сабреддіту про машинне навчання з понад 150 тис. учасників та підписатися на нашу розсилку. Стривайте! Ви є в Telegram? Тепер ви також можете приєднатися до нас у Telegram.

Потрібно налагодити партнерство з нами для просування вашого репозиторію GitHub, сторінки на Hugging Face, випуску продукту, вебінару тощо? Зв’яжіться з нами