Mistral AI выпустила Timestral — семейство моделей прогнозирования на 209 млн параметров, превосходящее TimesFM-3 от Google
Mistral AI выпустила Timestral — своё первое семейство фундаментальных моделей временных рядов. Timestral представляет собой набор из 4 моделей прогнозирования без дообучения от Mistral AI размером от 5 до 209 млн параметров. Крупнейший чекпойнт занимает первое место среди предварительно обученных моделей без дообучения в GIFT-Eval, TIME и fev-bench. При этом для вывода ему не требуется GPU. Для разработчиков эта фундаментальная модель временных рядов Timestral означает вероятностное прогнозирование на стандартных серверных CPU, с открытыми весами и кодом вывода.
Кратко
- Размер: 4 модели: 5 млн, 28 млн, 123 млн и 209 млн параметров (плотные). Контекст до 32 768 временных шагов.
- Работает на: стандартном серверном CPU, GPU не требуется. Веса 209M занимают 837 МБ в fp32. GPU опционален.
- Производительность: №1 среди предварительно обученных моделей без дообучения в GIFT-Eval, TIME и fev-bench (по данным Mistral).
- Лучший результат: показатель SQL skill score на fev-bench — 50,39, что выше 48,99 у TimesFM-3.
- Худший результат: MASE в GIFT-Eval равен 0,658, опережая t0-gamma (0,661) всего на 0,003.
Что такое Timestral?
Timestral — это фундаментальная модель временных рядов (TSFM). Она предварительно обучена на большом и разнообразном корпусе, а затем выполняет прогнозирование без дообучения на данных, которые никогда ранее не видела. Классические инструменты, такие как ARIMA, подгоняются под один ряд за раз. Глубокие модели, такие как PatchTST, обычно обучаются с нуля на каждом наборе данных. Timestral вместо этого переносит закономерности между различными областями.
Каждая модель выдаёт 21 квантиль на каждый временной шаг. Она совместно прогнозирует многомерные целевые показатели. Модель принимает ковариаты, доступные только в прошлом, известные будущие ковариаты и категориальные ковариаты.
Как работает Timestral?
Timestral — это каузальный трансформер на основе патчей с вниманием по времени и вниманием по переменным. Модель 209M использует 24 слоя и размерность эмбеддингов 768. Каждый патч охватывает 32 временных шага. Один прямой проход прогнозирует до 1 024 шагов. Для более длинных горизонтов прогноз выполняется блок за блоком, при этом медиана каждого блока подаётся обратно в качестве контекста.
Mistral выделяет 4 технических нововведения:
- Decoupled Horizon Forecasting (DHF): Обученные токены прогноза считывают всю историю. Наблюдаемые значения остаются в контексте, а не маскируются, в отличие от маскирования последовательных патчей в Toto 2.0 и TimesFM-3.
- Внимание с учётом ковариат: Каждый ряд является целевым показателем, ковариатой, доступной только в прошлом, или известной будущей ковариатой. Информация передаётся только от ковариат к целевым показателям, что предотвращает утечку данных из будущего.
- Сначала синтетические данные: Большая часть обучающих данных является синтетической и включает тренды, сезонность, шум и нелинейные зависимости между рядами.
- Двухэтапное обучение: Предварительное обучение на синтетических данных с контекстом 8 192, затем дообучение на смешанных данных с контекстом в 4 раза длиннее. Функция потерь — pinball loss по 21 квантилю.
Как Timestral показывает себя на тестах?
Все приведённые ниже результаты получены без дообучения, на одном чекпойнте и без ансамблирования. Они взяты из карточки модели Timestral-209M.
- GIFT-Eval: MASE 0,658, CRPS 0,446 (меньше — лучше).
- TIME: MASE 0,626, CRPS 0,522 (меньше — лучше).
- fev-bench: SQL skill score 50,39, MASE skill score 39,49 (больше — лучше).
Масштабирование по размеру практически не даёт прироста на верхнем уровне. Timestral-123M получает MASE 0,659 в GIFT-Eval против 0,658 у версии 209M. Команда Mistral утверждает, что модель 28M превосходит Chronos-2 в GIFT-Eval и TIME. Chronos-2 примерно в 4 раза больше.
Насколько быстро Timestral работает на CPU?
Команда Mistral протестировала стандартный серверный CPU с 8 потоками. Задача: спрогнозировать 1 день вперёд на основе 3 недель истории с интервалом 15 минут. Модель 5M выполнила задачу за 10 мс, а модель 209M — за 140 мс. Модель 28M в 5 раз быстрее 209M. Модель 123M достигает результата в пределах 0,2% от 209M при задержке, составляющей три четверти от задержки старшей модели.
Как Timestral сравнивается с TimesFM-3, Chronos-2 и Toto 2.0?
| Характеристика | Timestral-209M | TimesFM-3 | Chronos-2 | Toto-2.0-2.5B |
|---|---|---|---|---|
| Разработчик | Mistral AI | Google Research | Amazon | Datadog |
| Параметры | 209M | 330M | 120M | 2.5B |
| Архитектура | Каузальный трансформер на основе патчей, DHF | Только декодер, маскирование последовательных патчей | Только энкодер, групповое внимание | Только декодер, маскирование последовательных патчей |
| Максимальный контекст | 32 768 шагов | Не раскрыто | 8 192 шага | Не раскрыто |
| Горизонт за один проход | 1 024 шага | Не раскрыто | 1 024 шага (макс.) | Не раскрыто |
| Квантили | 21 | 9 | Не раскрыто | 9 |
| Лицензия на веса | Изменённая MIT | Некомерческая v1.0 | Apache 2.0 | Apache 2.0 |
| Веса (fp32) | 837 МБ | Не раскрыто | Не раскрыто | 9,1 ГБ |
| GIFT-Eval MASE / CRPS | 0,658 / 0,446 | 0,667 / 0,456* | 0,698 / 0,485* | 0,696 / 0,476 |
| TIME MASE / CRPS | 0,626 / 0,522 | 0,640 / 0,536* | 0,662 / 0,556* | 0,640 / 0,532** |
| SQL skill на fev-bench | 50,39 | 48,99* | 47,28* | 44,42* |
* Указано в карточке модели Timestral-209M. Google и Amazon не публикуют сопоставимые значения на собственных страницах моделей. ** Из карточки модели Datadog. В карточке Mistral указано 0,642 / 0,539.
Как разработчики могут развернуть Timestral?
Установите пакет с помощью pip install git+https://github.com/mistralai/timestral.git. Требуются Python 3.10+ и torch 2.4+. Зависимости: PyTorch, NumPy, safetensors и huggingface_hub. Веса загружаются с Hugging Face: 21 МБ для 5M, 111 МБ для 28M и 490 МБ для 123M.
В документации Mistral Timestral 1.0 209M указана как Public Preview. Дообучение на проприетарных данных выполняется через Mistral Forge. Решение можно развернуть локально, в VPC или в изолированной сети.
Основные выводы
- 4 размера — от 5M до 209M; все находятся на фронте Парето по соотношению точности и размера.
- Модель 209M лидирует в GIFT-Eval, TIME и fev-bench среди моделей без дообучения.
- Вывод только на CPU: от 10 мс (5M) до 140 мс (209M).
- Контекст в 32 768 шагов, 21 квантиль, встроенная поддержка ковариат.
- Изменённая лицензия MIT, в отличие от некоммерческой лицензии TimesFM-3.
Ознакомьтесь с публикацией в блоге, репозиторием на GitHub и весами модели на Hugging Face. Все заслуги принадлежат исследователю этого проекта. Также подписывайтесь на нас в Twitter и не забудьте присоединиться к нашему сабреддиту о машинном обучении с более чем 150 тыс. участников и подписаться на нашу рассылку. Постойте! Вы есть в Telegram? теперь вы также можете присоединиться к нам в Telegram.
Переведено автоматически с английского. Оригинал статьи — по ссылке ниже.