Mistral AI випустила Timestral: сімейство моделей прогнозування на 209 млн параметрів, що перевершує TimesFM-3 від Google
Mistral AI випустила Timestral, своє перше сімейство базових моделей часових рядів. Timestral — це набір із 4 моделей прогнозування без попереднього налаштування від Mistral AI, розміром від 5M до 209M параметрів. Найбільший чекпойнт посідає перше місце серед попередньо навчених моделей без попереднього налаштування на GIFT-Eval, TIME і fev-bench. І все це без GPU під час інференсу. Для розробників ця базова модель часових рядів Timestral означає ймовірнісні прогнози на стандартних серверних CPU, із відкритими вагами та кодом інференсу.
Коротко
- Розмір: 4 моделі: 5M, 28M, 123M, 209M параметрів (щільні). Контекст до 32 768 часових кроків.
- Працює на: стандартному серверному CPU, GPU не потрібен. 209M ваг займають 837 MB у fp32. GPU необов’язковий.
- Продуктивність: №1 серед попередньо навчених моделей без попереднього налаштування на GIFT-Eval, TIME і fev-bench (за даними Mistral).
- Найкраще: показник SQL skill на fev-bench — 50.39, випереджає TimesFM-3 із результатом 48.99.
- Найгірше: MASE на GIFT-Eval — 0.658, випереджає t0-gamma (0.661) лише на 0.003.
Що таке Timestral?
Timestral — це базова модель часових рядів (TSFM). Вона попередньо навчається на великому різноманітному корпусі, а потім виконує прогнозування без попереднього налаштування на даних, яких ніколи не бачила. Класичні інструменти на кшталт ARIMA підганяються під один ряд за раз. Глибокі моделі, як-от PatchTST, зазвичай навчаються з нуля на кожному наборі даних. Натомість Timestral переносить закономірності між різними сферами.
Кожна модель видає 21 квантиль для кожного часового кроку. Вона спільно прогнозує багатовимірні цільові показники. Модель приймає коваріати, відомі лише з минулого, відомі майбутні коваріати та категоріальні коваріати.
Як працює Timestral?
Timestral — це каузальний трансформер на основі патчів із часовою увагою та увагою до змінних. Модель на 209M параметрів використовує 24 шари та розмірність embedding 768. Кожен патч охоплює 32 часові кроки. Один прямий прохід прогнозує до 1 024 кроків. Довші горизонти виконуються блок за блоком, причому медіана кожного блоку повертається як контекст.
Mistral виокремлює 4 технічні внески:
- Decoupled Horizon Forecasting (DHF): навчені токени прогнозу зчитують всю історію. Спостережувані значення залишаються в контексті, а не маскуються, на відміну від маскування суміжних патчів у Toto 2.0 і TimesFM-3.
- Увага з урахуванням коваріат: кожен ряд є цільовим показником, коваріатою, відомою лише з минулого, або коваріатою, відомою в майбутньому. Інформація передається лише від коваріат до цільових показників, що запобігає витоку майбутньої інформації.
- Синтетичні дані передусім: більшість навчальних даних є синтетичними та містить тренди, сезонність, шум і нелінійні залежності між рядами.
- Двоетапне навчання: попереднє навчання на синтетичних даних із контекстом 8 192, потім донавчання на змішаних даних із контекстом, у 4 рази довшим. Функція втрат — pinball loss для 21 квантиля.
Як Timestral показує себе на бенчмарках?
Усі наведені нижче показники отримано без попереднього налаштування, з одного чекпойнта без ансамблювання. Вони взяті з картки моделі Timestral-209M.
- GIFT-Eval: MASE 0.658, CRPS 0.446 (менше — краще).
- TIME: MASE 0.626, CRPS 0.522 (менше — краще).
- fev-bench: показник SQL skill — 50.39, показник MASE skill — 39.49 (більше — краще).
Масштабування за розміром є пласким на вершині. Timestral-123M отримує MASE 0.659 на GIFT-Eval, тоді як результат 209M становить 0.658. Команда Mistral заявляє, що модель 28M перевершує Chronos-2 на GIFT-Eval і TIME. Chronos-2 приблизно в 4 рази більша.
Наскільки швидка Timestral на CPU?
Команда Mistral протестувала стандартний серверний CPU із 8 потоками. Завдання: спрогнозувати 1 день уперед на основі 3 тижнів історії з інтервалом 15 хвилин. Модель 5M виконала завдання за 10 мс, а модель 209M — за 140 мс. Модель 28M у 5 разів швидша за 209M. Модель 123M відстає від 209M за показником лише на 0,2%, маючи три чверті її затримки.
Як Timestral порівнюється з TimesFM-3, Chronos-2 і Toto 2.0?
| Характеристика | Timestral-209M | TimesFM-3 | Chronos-2 | Toto-2.0-2.5B |
|---|---|---|---|---|
| Розробник | Mistral AI | Google Research | Amazon | Datadog |
| Параметри | 209M | 330M | 120M | 2.5B |
| Архітектура | Каузальний трансформер на основі патчів, DHF | Лише декодер, маскування суміжних патчів | Лише енкодер, групова увага | Лише декодер, маскування суміжних патчів |
| Максимальний контекст | 32 768 кроків | Не розкрито | 8 192 кроки | Не розкрито |
| Горизонт за один прохід | 1 024 кроки | Не розкрито | 1 024 кроки (макс.) | Не розкрито |
| Квантілі | 21 | 9 | Не розкрито | 9 |
| Ліцензія на ваги | Modified MIT | Non-commercial v1.0 | Apache 2.0 | Apache 2.0 |
| Ваги (fp32) | 837 MB | Не розкрито | Не розкрито | 9.1 GB |
| GIFT-Eval MASE / CRPS | 0.658 / 0.446 | 0.667 / 0.456* | 0.698 / 0.485* | 0.696 / 0.476 |
| TIME MASE / CRPS | 0.626 / 0.522 | 0.640 / 0.536* | 0.662 / 0.556* | 0.640 / 0.532** |
| fev-bench SQL skill | 50.39 | 48.99* | 47.28* | 44.42* |
* Як зазначено в картці моделі Timestral-209M. Google і Amazon не публікують відповідних показників на власних сторінках моделей. ** Із картки моделі Datadog. У картці Mistral зазначено 0.642 / 0.539.
Як розробники можуть розгорнути Timestral?
Встановіть пакет за допомогою pip install git+https://github.com/mistralai/timestral.git. Потрібні Python 3.10+ і torch 2.4+. Залежності: PyTorch, NumPy, safetensors і huggingface_hub. Ваги завантажуються з Hugging Face: 21 MB для 5M, 111 MB для 28M, 490 MB для 123M.
У документації Mistral Timestral 1.0 209M зазначена як публічна попередня версія. Дообучення на власних даних виконується через Mistral Forge. Конвеєр можна розгорнути локально, у VPC або в ізольованому середовищі без доступу до мережі.
Основні висновки
- 4 розміри — від 5M до 209M; усі перебувають на фронті Парето за співвідношенням точності та розміру.
- 209M очолює GIFT-Eval, TIME і fev-bench серед моделей без попереднього налаштування.
- Інференс лише на CPU: від 10 мс (5M) до 140 мс (209M).
- Контекст у 32 768 кроків, 21 квантиль, вбудована підтримка коваріат.
- Ваги за Modified MIT, на відміну від некомерційної ліцензії TimesFM-3.
Ознайомтеся з публікацією в блозі, репозиторієм GitHub і вагами моделей на Hugging Face. Уся заслуга належить досліднику цього проєкту. Також підписуйтеся на нас у Twitter і не забудьте приєднатися до нашого 150k+ML SubReddit та підписатися на нашу розсилку. Стривайте! Ви є в Telegram? Тепер ви також можете приєднатися до нас у Telegram.
Перекладено автоматично з англійської. Оригінал статті — за посиланням нижче.