Samaya AI выпускает Sterling: модель-агент для финансовых исследований с 3 млрд активных параметров, превосходящая Claude Fable 5.1 в FrontierFinance при стоимости в 11 раз ниже
Samaya AI выпустила Samaya Sterling — модель с постобучением для агентных финансовых исследований. Sterling построена на базе Nemotron 3.5 Lightning от NVIDIA — модели со смесью экспертов на 30 млрд параметров, из которых активно 3 млрд. На бенчмарке FrontierFinance от Samaya она набирает 58,9%. Claude Fable 5.1 набирает 55,9%. Каждый вопрос для Sterling стоит $0,61 против $6,89 для Fable 5.1. Для разработчиков вывод очевиден: совместно обучайте небольшую модель и её управляющую систему — и она сможет превзойти другие решения в узкой области.
Кратко
- Размер: всего 30 млрд, активно 3 млрд параметров (MoE). Контекст базовой модели: до 1 млн токенов. Контекст Sterling при работе: не раскрывается.
- Запуск: базовая модель помещается на одной H100 80 ГБ в BF16 (контекст 256 тыс. токенов). Оборудование для работы Sterling: не раскрывается.
- Производительность: превосходит все высококачественные системы в таблице лидеров FrontierFinance по качеству на доллар (по данным самой компании).
- Лучший результат: 58,9% на FrontierFinance (60,6% в режиме повышенных усилий) против 55,9% у Claude Fable 5.1.
- Худший результат: 45,2% на самой сложной трети вопросов FrontierFinance.
Что такое Samaya Sterling?
Samaya Sterling — это версия Nemotron 3.5 Lightning с постобучением LoRA, настроенная для работы в качестве агента финансовых исследований. Она планирует исследование, вызывает финансовые инструменты, собирает доказательства и передаёт результаты отдельному автору отчёта. Согласно анонсу Maithra Raghu в X, проект начинался как работа команды из двух человек над эффективностью агентной оркестрации.
Как управляющая система поддерживает модель с 3 млрд активных параметров?
Команда Samaya адаптировала свою производственную финансовую управляющую систему для небольшой модели. Подробные инструкции были удалены из системного промпта и описаний инструментов. Инструменты объединили, чтобы сократить длину промпта. Две вспомогательные модели управляют контекстом. Конденсатор сокращает длинные результаты работы инструментов. Компрессор суммирует трассировку по мере её роста. Бюджет исследования ограничивает продолжительность работы агента. После этого автор отчёта формирует ответ на основе найденной информации.
Как обучали Sterling?
Для обучения использовалась LoRA в Tinker — API для обучения от Thinking Machines Lab. Обучение прошло в 4 этапа:
- SFT на синтетических трассировках: Samaya сгенерировала 968 синтетических вопросов аналитиков. Учитель Kimi K3 отвечал на каждый вопрос дважды, а LLM-судья выбирал лучший ответ. Модель научилась вызывать 37 инструментов с корректными аргументами.
- SFT на лучшей из 8 стратегий: Kimi K3 отвечала на 1 819 вопросов, составленных экспертами, используя 8 исследовательских стратегий. Ответ с наивысшей оценкой для каждого вопроса становился обучающими данными. Лучшая из 8 стратегий соответствовала 80% ключевых пунктов рубрики против примерно 66% у одной лучшей стратегии. После фильтрации осталось 1 157 вопросов.
- Офлайн-GRPO: GRPO оценивал все 8 ответов учителя относительно друг друга. Новая генерация не требовалась, поэтому каждый шаг был недорогим.
- Онлайн-GRPO: модель отвечала на каждый вопрос 8 раз и обучалась на оценённых попытках. Усечённая выборка по важности исправляла известное несоответствие между семплерами MoE.
Как Sterling показывает себя на FrontierFinance?
FrontierFinance включает 220 общедоступных запросов, оцениваемых по рубрикам, составленным экспертами. Оценщик использует комиссию из 3 моделей-судей. Команда Samaya заявляет, что ни один вопрос из бенчмарка не использовался при обучении. Контрольные точки выбирались на 100 внутренних проверочных вопросах.
Sterling набирает 58,9% при стоимости $0,61 и времени 282 с на вопрос. Fable 5.1 набирает 55,9% при стоимости $6,89 и времени 268 с. Собственная система Samaya в режиме повышенных усилий набирает на 2,9 процентного пункта меньше при стоимости $1,81.
Каждый этап повышал качество: 42,5% (базовая модель), 51,4%, 54,8%, 57,5%, затем 58,9%. Медианное число вызовов инструментов выросло с 3 до 17. В режиме повышенных усилий Sterling достигает 60,6% при стоимости $1,83 и времени 372 с. На самой сложной трети вопросов результат вырос с 31,8% до 45,2%.
Сама модель стоит $0,04 за вопрос. Остальную часть суммы в $0,61 составляют инструменты и вспомогательные модели.
Как Sterling выглядит в сравнении?
| Характеристика | Samaya Sterling | Claude Fable 5.1 | Samaya System, повышенные усилия | Базовая Nemotron 3.5 Lightning |
|---|---|---|---|---|
| Всего / активных параметров | 30 млрд / 3 млрд | Не раскрывается | Не раскрывается | 30 млрд / 3 млрд |
| Контекст | Не раскрывается | 1 млн | Не раскрывается | До 1 млн |
| Лицензия / доступ | Публичные веса или API не объявлены | Проприетарный API | Платформа Samaya | OpenMDW-1.1, открытые веса |
| Результат FrontierFinance | 58,9% (60,6% при повышенных усилиях) | 55,9% | 56,0% (58,9 минус 2,9 п. п.) | 42,5% |
| Стоимость вопроса | $0,61 ($1,83 при повышенных усилиях) | $6,89 | $1,81 | Не раскрывается |
| Задержка на вопрос | 282 с (372 с при повышенных усилиях) | 268 с | 278 с | Не раскрывается |
| Стоимость токенов | Не раскрывается | $10 / $50 за MTok | Не раскрывается | Не раскрывается |
Показатели FrontierFinance для всех столбцов взяты из блога Samaya и предоставлены самой компанией.
Основные выводы
- Sterling набирает 58,9% на FrontierFinance — на 3,0 пункта больше, чем Claude Fable 5.1.
- Стоимость вопроса снижается в 11 раз: $0,61 против $6,89.
- 3 млрд активных параметров, обучение прошло в 2 этапа SFT и 2 этапа GRPO.
- Совместное обучение управляющей системы и модели обеспечивает прирост.
- Все результаты предоставлены самой компанией на её собственном бенчмарке.
Ознакомьтесь с техническим блогом, бенчмарком FrontierFinance, датасетом и репозиторием оценщика. Также подписывайтесь на нас в Twitter и не забудьте присоединиться к нашему сабреддиту по машинному обучению с более чем 150 тыс. участников и подписаться на нашу рассылку. Постойте! А вы есть в Telegram? теперь к нам можно присоединиться и в Telegram.
Хотите сотрудничать с нами в продвижении вашего репозитория GitHub, страницы на Hugging Face, релиза продукта, вебинара и т. д.? Свяжитесь с нами
Переведено автоматически с английского. Оригинал статьи — по ссылке ниже.