NVIDIA Kumo Relational превосходит методы машинного обучения с учителем на реляционных данных — обучение не требуется
Кратко
NVIDIA Kumo Relational — это предварительно обученная реляционная фундаментальная модель, которая делает прогнозы непосредственно на корпоративных базах данных. Получив прогнозный запрос, она собирает до 10 000 исторических примеров в качестве контекста и за один прямой проход прогнозирует такие результаты, как отток клиентов, спрос или мошенничество. Для неё не требуется обучение под конкретную задачу, конструирование признаков или преобразование таблиц в плоский формат. Kumo Relational — первая фундаментальная модель с обучением на нескольких примерах, превосходящая обучение с учителем на распространённых реляционных тестах. В 41 задаче на 15 базах данных она превосходит реляционные модели глубокого обучения с учителем и конвейеры градиентного бустинга с признаками, спроектированными экспертами, а на корпоративном тесте SAP SALT превосходит ансамбли AutoGluon на 8% по среднему обратному рангу (MRR). Она масштабируется до баз данных с более чем 500 млрд строк и подходит как для людей, так и для агентов — через библиотеку NVIDIA с открытым исходным кодом и поддержкой GPU для моделей структурированных данных или в виде NVIDIA NIM.
- Статья: https://arxiv.org/abs/2604.12596
- Документация: https://docs.nvidia.com/sdgm/rfm/overview
Переход к фундаментальным моделям структурированных данных
Фундаментальные модели уже полностью изменили подход к работе с языком и изображениями. Ещё недавно промышленная обработка естественного языка означала отдельную модель для каждой задачи, каждая из которых получала данные через собственный конвейер токенизации, лемматизации и n-грамм. Большие языковые модели сделали этот стек в значительной степени устаревшим по трём причинам: они были точнее лучших моделей для конкретных задач, их было гораздо проще внедрять в производство, и они обладали достаточной гибкостью, чтобы открыть новую эру агентных приложений.
Теперь такой же переход происходит со структурированными данными. Реляционные базы данных лежат в основе важнейших бизнес-решений в мире, однако прогнозное моделирование на них по-прежнему требует недель конструирования признаков, обучения под конкретную задачу и настройки конвейеров. Фундаментальные модели структурированных данных меняют это по тем же трём причинам:
Более высокая точность уже сегодня: В качестве готовой замены эти модели уже превосходят многие промышленные конвейеры, особенно XGBoost. В задачах классификации RelBench V1 Kumo Relational в среднем превосходит деревья с градиентным бустингом на признаках, спроектированных экспертами, почти на 4 пункта AUROC. На SAP SALT она без дополнительной настройки превосходит XGBoost на сконструированных признаках на 7 пунктов MRR, а после дообучения — на 13 пунктов MRR. Эти результаты убедительно свидетельствуют в пользу замены промышленных конвейеров XGBoost на Kumo Relational.
Простота и гибкость: Одна предварительно обученная модель заменяет отдельные конвейеры для различных задач. Новый прогноз становится запросом, а не проектом, поэтому команды машинного обучения наконец могут браться за сценарии, создание которых традиционными методами машинного обучения было слишком трудоёмким на любом уровне организации.
Агенты, способные прогнозировать: Большие языковые модели позволяют агентам читать, писать и рассуждать. Фундаментальные модели структурированных данных позволяют им предвидеть дальнейшие события — например, определить, какой клиент уйдёт, — и действовать на основе этого. Kumo Relational уже разработана для вызова агентами, а её язык прогнозных запросов (PQL) предоставляет им простой интерфейс для постановки прогнозных вопросов.
Сегодня мы представляем Kumo Relational (статья, документация) — предварительно обученную фундаментальную модель, которая переносит этот подход на реляционные данные. Подключите базу данных, опишите, что нужно спрогнозировать, и получите прогноз за один прямой проход. Обучение не требуется.
Как работает Kumo Relational
Большинство фундаментальных моделей для структурированных данных работают с одной плоской таблицей. Однако реальные данные хранятся в реляционных базах данных: пользователи связаны с заказами, заказы — с товарами, и всё это меняется со временем. Преобразование этих связей в одну строку посредством ручной агрегации (например, «средняя стоимость заказа за последние 30 дней») приводит к потере тонких структурных сигналов и требует значительных усилий человека.
Kumo Relational — это реляционная фундаментальная модель, которая работает непосредственно с базой данных, учитывая её таблицы, внешние ключи и временные метки. Она предварительно обучается один раз на синтетических реляционных данных, отражающих реальные наборы данных, и адаптируется к каждой новой задаче посредством обучения в контексте, считывая до 10 000 контекстных примеров во время вывода. Каждый пример связывает локальный подграф вокруг сущности в определённый момент времени с истинным целевым значением (например, «этот пользователь ушёл» или «этот товар был продан в количестве 142 единиц»).
![Обзор системы NVIDIA Kumo Relational: (a) интеграция с базой данных, (b) интерфейс подсказок, преобразующий естественный язык в прогнозный запрос, и (c) автоматическая генерация контекста, передаваемого модели NVIDIA Kumo Relational, которая горизонтально масштабируется между арендаторами.]
Рисунок 1. Обзор системы Kumo Relational. Подключите базу данных, задайте прогнозный запрос, а Kumo Relational выполнит всё остальное — от генерации контекста до вывода модели.
Чтобы сделать прогноз, Kumo Relational должна выполнить три действия: (1) понять значения внутри каждой таблицы, (2) сопоставить записи между таблицами и (3) связать контекстные примеры с известными целевыми значениями и прогнозируемой сущностью. Вот как это работает:
![Архитектура Kumo Relational: (a) входной контекст с таблицами задач, пользователей, заказов и товаров; (b) внимание к столбцам и строкам внутри таблиц с внедрёнными целевыми значениями контекста; (c) графовое внимание и внимание между примерами в разных таблицах.]
Рисунок 2. Архитектура Kumo Relational: (a) входной контекст, (b) рассуждение внутри таблиц, (c) рассуждение между таблицами.
Автоматическая генерация контекста: Задачи записываются на языке прогнозных запросов (PQL) — декларативном интерфейсе, в котором указывается, что нужно спрогнозировать, а не как это сделать. Для временных задач Kumo Relational воспроизводит исторические состояния базы данных: она выбирает подграфы с центром в сущности до временной точки привязки и вычисляет каждое целевое значение по событиям после этой точки, предоставляя модели только данные, существовавшие до неё. Это предотвращает утечку данных.
Рассуждение внутри таблиц: Лёгкая сеть обрабатывает каждую таблицу независимо, чередуя внимание к столбцам (сопоставление значений внутри столбца) и внимание к строкам (сопоставление признаков внутри строки). Модель учится определять, какие столбцы и строки важны для текущего прогноза, и отфильтровывает шум до его распространения.
Рассуждение между таблицами: Более крупная сеть распределяет векторы строк по реляционной структуре посредством графового внимания к связям первичных и внешних ключей, перемежая его вниманием между примерами в контексте. Именно здесь происходит реляционное рассуждение — например, связывание профиля пользователя с историей его транзакций. Поскольку этот этап работает с векторами строк, а не с каждой ячейкой каждой таблицы, такая архитектура избегает квадратичной вычислительной сложности и масштабируется до больших контекстов и более глубоких подграфов.
Как создавалась Kumo Relational
Kumo Relational предварительно обучается полностью на синтетических реляционных данных, смоделированных по образцу реальных реляционных баз данных с разнообразными прогнозными запросами. Предварительное обучение проходит поэтапно — от отдельных таблиц к реляционным структурам возрастающей сложности.
Разнообразные реляционные базы данных, необходимые для предварительного обучения, редко бывают общедоступными, поэтому этот пробел заполняют синтетические данные. Генератор Kumo Relational основан на подходе PluRel (Kothapalli и др., ICML 2026), который расширяет генераторы данных для отдельных таблиц до полноценных реляционных баз данных. Участники команды Kumo помогали разрабатывать PluRel и стали соавторами исходной статьи. PluRel генерирует каждую базу данных в три этапа: схему, связи внешних ключей между строками, которые образуют кластеры, как в реальных данных, и значения столбцов из структурных причинных моделей с временными трендами и зависимостями между таблицами. Генерация не требует значительных ресурсов, поэтому объём данных для предварительного обучения фактически не ограничен; статья о PluRel показывает, что потери при предварительном обучении подчиняются степенному закону по мере добавления синтетических баз данных, а полученные улучшения переносятся на реальные базы данных.
Благодаря этому предварительному обучению модель учится фильтровать, сопоставлять и агрегировать информацию между таблицами вместо использования фиксированных агрегаций. Когда важна максимальная точность, Kumo Relational также можно дообучить на конкретном наборе данных и задаче.
Производительность
В этой статье мы оценили Kumo Relational на 41 тесте в 15 реляционных базах данных из RelBench V1 и V2, SAP SALT и 4DBInfer, охватывающих области электронной коммерции, медицины, предприятий, социальных и академических данных. Ни один из этих наборов данных не использовался при предварительном обучении. Kumo Relational превосходит самые сильные модели с учителем как в классификации, так и в регрессии, включая модели реляционного глубокого обучения и табличные ансамбли с признаками, спроектированными экспертами. В таблице лидеров RelArena-α, сравнивающей реляционные модели и системы на RelBench V1, она также сразу занимает фронт Парето по точности и эффективности:
![Точечный график таблицы лидеров RelArena-α: относительная точность в виде Elo по задачам (ось y) в сравнении с медианным временем вывода на 1000 образцов (ось x, логарифмическая шкала). Kumo Relational располагается на фронте Парето примерно при 17 секундах и Elo 1842. Набравший наибольшее количество баллов участник rt-plurel достигает Elo 1878 примерно за 7300 секунд — это примерно в 430 раз медленнее. Все остальные фундаментальные модели, системы конструирования признаков и модели с учителем набирают меньше баллов и работают медленнее Kumo Relational.]
Рисунок 3. Таблица лидеров RelArena-α: Elo по задачам в сравнении с медианным временем вывода на 1000 образцов (логарифмическая шкала). Kumo Relational примерно в 430 раз быстрее участника с наивысшим результатом при сопоставимой точности.
В статье также сообщается, что на корпоративном тесте SAP SALT Kumo Relational превосходит крупные ансамбли AutoGluon на 8% по среднему обратному рангу (MRR), а последние фундаментальные модели для табличных данных — примерно на 25%; после дообучения её преимущество над AutoGluon увеличивается до 16%. Она также сохраняет эффективность в сложных условиях: хорошо работает, имея в контексте всего 0,2% обучающих данных, остаётся стабильной при удалении до 75% связей внешних ключей и почти не ухудшает результаты при добавлении большого количества зашумлённых столбцов.
Ограничения
Kumo Relational лучше всего работает с данными, содержащими значимые связи и временную динамику, например с поведением пользователей во времени. На задачах с очень большими обучающими наборами специализированные модели с учителем всё ещё могут немного превосходить прогнозы в контексте; в наших тестах использовалось не более 10 000 контекстных примеров. Дообучение фундаментальной модели предназначено именно для такого случая. Прогнозные сигналы также должны быть достижимы за ограниченное число переходов, поэтому начните с целенаправленного запроса по нескольким релевантным таблицам и при необходимости расширяйте граф.
Демонстрация
Kumo Relational выполняет обучение в контексте непосредственно на базах данных: в памяти, через коннекторы к базам данных и хранилищам или посредством пользовательского графового движка, работающего с более чем 500 млрд строк через отображаемый в память ввод-вывод со скоростью до 5 ГБ/с. Она доступна в недавно выпущенной библиотеке NVIDIA с поддержкой GPU для моделей структурированных данных — той же библиотеке с открытым исходным кодом, которая обеспечивает работу родственной модели Kumo Tabular. При первом использовании библиотека загружает веса из Hugging Face Hub, поэтому модель можно загрузить в блокнот с GPU и делать прогнозы непосредственно с её помощью. Приведённый ниже код передаёт модели контекстные примеры, сущности для прогнозирования и связанные с ними таблицы:
import sdm
model = sdm.models.KumoRelational(device="cuda")
pred = model(
x_context=...,
y_context=...,
x_query=...,
related_context_tables=...,
related_query_tables=...,
)
Полные конвейеры RelBench и SAP SALT, включая выборку связанных таблиц для каждой сущности, приведены в реляционных примерах библиотеки.
Чтобы вместо этого запустить модель как отдельный сервис, разверните её в качестве NVIDIA NIM и укажите на неё из блокнота открытый structured-data-models-client. Вы записываете прогноз на PQL, а клиент собирает контекстные примеры и связанные таблицы, после чего отправляет запрос:
import sdm_client
client = sdm_client.SDMClient(url="http://localhost:8001")
query = sdm_client.PredictiveQuery(
"PREDICT COUNT(orders.*, 0, 30, days) FOR EACH users.user_id",
{"users": ..., "orders": ...},
)
pred = client.predict(
query.materialize(indices=[1, 2, 3]),
model=sdm_client.KumoRelational(),
)
Сквозные запуски в локальном NIM и на Databricks описаны в примерах блокнотов клиента.
Начните разработку с NVIDIA Kumo Relational
NVIDIA Kumo Relational доступна уже сегодня. Прочитайте исследовательскую статью, изучите блокнот быстрого старта или начните делать прогнозы на собственных данных. Код выпущен по лицензии Apache 2.0, а веса модели — по лицензионному соглашению OpenMDW, версия 1.1. NVIDIA считает, что надёжный ИИ — это общая ответственность, и разработала политики и практики, позволяющие создавать широкий спектр приложений ИИ. При загрузке или использовании модели в соответствии с нашими условиями обслуживания разработчики должны вместе с командой, сопровождающей модель, убедиться, что она соответствует требованиям соответствующей отрасли и сценария использования, а также решить вопросы непредвиденного неправильного использования продукта. Сообщайте о качестве модели, рисках, уязвимостях безопасности или проблемах, связанных с ИИ NVIDIA, здесь.
- Статья: https://arxiv.org/abs/2604.12596
- Документация: https://docs.nvidia.com/sdgm/rfm/overview
- Код: https://github.com/NVIDIA/structured-data-models
- PyPI: https://pypi.org/project/structured-data-models/
- Код клиента: https://github.com/NVIDIA/structured-data-models-client
- PyPI клиента: https://pypi.org/project/structured-data-models-client/
- Веса: https://huggingface.co/nvidia/Kumo-Relational
- Блокнот быстрого старта: https://github.com/NVIDIA/structured-data-models-client/blob/main/examples/local/relational.ipynb
- Связанные исследования: язык прогнозных запросов (PQL), PluRel, Kumo Tabular
Благодарности
Мы благодарим всю команду Kumo за неоценимую поддержку. Особая благодарность Josh Przybylko, Adi Wadaskar, Hema Raghavan, Manush Murali, Raja Rao DV, Keti Jovanovska, Zack Drach, Vanja Josifovski, Myungwhan Kim, Blaž Stojanovič, Siyang Xie, Alan Krumholz, Effy Fang, Abdullah Al-chihabi, Disha Dubey, Devan Johnson, Joseph Oliveira, Angela Liu, Miha Pelko, Vedaant Jain, Sally Liu, Aleksandar S. Sokolovski, Alex Porter и Ramona Bendias.
Другие статьи этого автора
Сообщество
· Зарегистрируйтесь или войдите, чтобы оставить комментарий
Переведено автоматически с английского. Оригинал статьи — по ссылке ниже.