Mistral AI пусна Timestral: семейство прогнозни модели с 209 млн. параметъра, което превъзхожда TimesFM-3 на Google

Mistral AI пусна Timestral, първото си семейство от фундаментални модели за времеви редове. Timestral представлява набор от 4 zero-shot модела за прогнозиране от Mistral AI, с размер от 5M до 209M параметъра. Най-големият чекпойнт заема първо място сред предварително обучените zero-shot модели в GIFT-Eval, TIME и fev-bench. Това се постига без GPU по време на инференция. За разработчиците този фундаментален модел за времеви редове Timestral означава вероятностни прогнози на стандартни сървърни процесори, с отворени тегла и код за инференция.

Накратко

• Размер: 4 модела: 5M, 28M, 123M, 209M параметъра (плътни). Контекст до 32 768 времеви стъпки.
• Работи на: стандартен сървърен процесор, без необходимост от GPU. 209M тегла заемат 837 MB във fp32. GPU е опционален.
• Производителност: №1 сред предварително обучените zero-shot модели в GIFT-Eval, TIME и fev-bench (според данните на Mistral).
• Най-добър резултат: SQL skill score от 50.39 във fev-bench, пред TimesFM-3 с 48.99.
• Най-слаб резултат: MASE от 0.658 в GIFT-Eval, който изпреварва t0-gamma (0.661) само с 0.003.

Какво представлява Timestral?

Timestral е фундаментален модел за времеви редове (TSFM). Той е предварително обучен върху голям и разнообразен корпус, след което прави zero-shot прогнози върху данни, които никога не е виждал. Класически инструменти като ARIMA се напасват към един ред наведнъж. Дълбоките модели като PatchTST обикновено се обучават от нулата за всеки набор от данни. Вместо това Timestral пренася закономерности между различни области.

Всеки модел извежда 21 квантилни стойности на времева стъпка. Той прогнозира съвместно многомерни цели. Приема ковариати от типа само минали стойности, известни бъдещи стойности и категориални ковариати.

Как работи Timestral?

Timestral е каузален трансформър, базиран на пачове, с внимание към времето и внимание към променливите. Моделът 209M използва 24 слоя и embedding измерение от 768. Всеки пач обхваща 32 времеви стъпки. Един проход напред прогнозира до 1 024 стъпки. По-дългите хоризонти се изпълняват блок по блок, като медианата на всеки блок се подава обратно като контекст.

Mistral посочва 4 технически приноса:

• Decoupled Horizon Forecasting (DHF): Научените токени за прогнозиране прочитат цялата история. Наблюдаваните стойности остават в контекста, вместо да бъдат маскирани, за разлика от непрекъснатото маскиране на пачове в Toto 2.0 и TimesFM-3.
• Внимание, съобразено с ковариатите: Всеки ред е цел, ковариата само от минали стойности или ковариата от известни бъдещи стойности. Информацията преминава само от ковариатите към целите, което предотвратява изтичането на бъдеща информация.
• Данни със синтетичен приоритет: По-голямата част от обучаващите данни са синтетични, с трендове, сезонност, шум и нелинейни зависимости между редовете.
• Двуетапно обучение: Предварително обучение върху синтетични данни с контекст 8 192, последвано от дообучение върху смесени данни с 4 пъти по-дълъг контекст. Функцията на загуба е pinball loss върху 21 квантилни стойности.

Как се представя Timestral при бенчмарковете?

Всички резултати по-долу са zero-shot, получени от един чекпойнт без ансамблиране. Те са взети от картата на модела Timestral-209M.

• GIFT-Eval: MASE 0.658, CRPS 0.446 (по-ниското е по-добро).
• TIME: MASE 0.626, CRPS 0.522 (по-ниското е по-добро).
• fev-bench: SQL skill score 50.39, MASE skill score 39.49 (по-високото е по-добро).

Мащабирането на размера е почти равно на върха. Timestral-123M постига MASE 0.659 в GIFT-Eval, спрямо 0.658 за 209M. Екипът на Mistral посочва, че моделът 28M превъзхожда Chronos-2 в GIFT-Eval и TIME. Chronos-2 е приблизително 4 пъти по-голям.

Колко бърз е Timestral на процесор?

Екипът на Mistral е тествал стандартен сървърен процесор с 8 нишки. Задачата: прогноза за 1 ден напред въз основа на 3 седмици история с интервал от 15 минути. Моделът 5M е отнел 10 ms, а моделът 209M — 140 ms. Моделът 28M е 5 пъти по-бърз от 209M. Моделът 123M постига резултат в рамките на 0,2% от този на 209M при три четвърти от неговата латентност.

Как се сравнява Timestral с TimesFM-3, Chronos-2 и Toto 2.0?

Характеристика	Timestral-209M	TimesFM-3	Chronos-2	Toto-2.0-2.5B
Разработчик	Mistral AI	Google Research	Amazon	Datadog
Параметри	209M	330M	120M	2.5B
Архитектура	Каузален трансформър с пачове, DHF	Само декодер, непрекъснато маскиране на пачове	Само енкодер, групово внимание	Само декодер, непрекъснато маскиране на пачове
Макс. контекст	32 768 стъпки	Не е оповестен	8 192 стъпки	Не е оповестен
Хоризонт с един проход	1 024 стъпки	Не е оповестен	1 024 стъпки (макс.)	Не е оповестен
Квантили	21	9	Не е оповестено	9
Лиценз за теглата	Модифициран MIT	Некомерсиален v1.0	Apache 2.0	Apache 2.0
Тегла (fp32)	837 MB	Не е оповестено	Не е оповестено	9.1 GB
GIFT-Eval MASE / CRPS	0.658 / 0.446	0.667 / 0.456*	0.698 / 0.485*	0.696 / 0.476
TIME MASE / CRPS	0.626 / 0.522	0.640 / 0.536*	0.662 / 0.556*	0.640 / 0.532**
fev-bench SQL skill	50.39	48.99*	47.28*	44.42*

* Както е посочено в картата на модела Timestral-209M. Google и Amazon не публикуват съответстващи стойности на собствените си страници на моделите. ** От картата на модела на Datadog. Картата на Mistral посочва 0.642 / 0.539.

Как разработчиците могат да внедрят Timestral?

Инсталирайте пакета с pip install git+https://github.com/mistralai/timestral.git. Необходими са Python 3.10+ и torch 2.4+. Зависимостите са PyTorch, NumPy, safetensors и huggingface_hub. Теглата се изтеглят от Hugging Face: 21 MB за 5M, 111 MB за 28M, 490 MB за 123M.

Документацията на Mistral посочва Timestral 1.0 209M като Public Preview. Дообучаването върху собствени данни се извършва чрез Mistral Forge. Конвейерът може да бъде внедрен локално, във VPC или в изолирана мрежа.

Основни изводи

• 4 размера, от 5M до 209M, всички на границата на Парето по отношение на точност и размер.
• 209M води в GIFT-Eval, TIME и fev-bench сред zero-shot моделите.
• Инференция само на процесор: от 10 ms (5M) до 140 ms (209M).
• Контекст от 32 768 стъпки, 21 квантилни стойности, естествена поддръжка на ковариати.
• Модифицирани MIT тегла, за разлика от некомерсиалния лиценз на TimesFM-3.

---

Разгледайте публикацията в блога, хранилището в GitHub и теглата на модела в Hugging Face. Всички заслуги са за изследователя на този проект. Също така, последвайте ни в Twitter и не забравяйте да се присъедините към нашия SubReddit за машинно обучение с над 150 хил. членове и да се абонирате за нашия бюлетин. Чакайте! В Telegram ли сте? Вече можете да се присъедините към нас и в Telegram.