NVIDIA Kumo Relational перевершує методи машинного навчання з учителем на реляційних даних — навчання не потрібне
Коротко
NVIDIA Kumo Relational — це попередньо навчена реляційна базова модель, яка безпосередньо створює прогнози на основі корпоративних баз даних. Отримавши прогнозний запит, вона збирає до 10 000 історичних прикладів як контекст і за один прямий прохід прогнозує такі результати, як відтік клієнтів, попит або шахрайство. Їй не потрібні навчання під конкретне завдання, інженерія ознак чи перетворення таблиць на пласку структуру. Kumo Relational — перша базова модель із навчанням на кількох прикладах, яка перевершує навчання з учителем на поширених реляційних бенчмарках. У 41 завданні на 15 базах даних вона перевершує реляційні моделі глибокого навчання з учителем і конвеєри дерев із градієнтним бустингом, розроблені експертами, а на корпоративному бенчмарку SAP SALT перевершує ансамблі AutoGluon на 8% за середнім оберненим рангом (MRR). Вона масштабується до баз даних із понад 500 млрд рядків і працює як для людей, так і для агентів — через бібліотеку NVIDIA з відкритим кодом structured-data-models, оптимізовану для GPU, або як NVIDIA NIM.
- Стаття: https://arxiv.org/abs/2604.12596
- Документація: https://docs.nvidia.com/sdgm/rfm/overview
Перехід до базових моделей структурованих даних
Базові моделі вже докорінно змінили підходи до роботи з мовою та зображеннями. Ще нещодавно промислова обробка природної мови передбачала окрему модель для кожного завдання, кожна з яких отримувала дані через власний конвеєр токенізації, лематизації та n-грам. Великі мовні моделі значною мірою зробили цей стек застарілим із трьох причин: вони були точнішими за найкращі моделі для конкретних завдань, значно простішими для впровадження у виробництві та достатньо гнучкими, щоб започаткувати нову еру агентних застосунків.
Такий самий перехід тепер відбувається і для структурованих даних. Реляційні бази даних забезпечують найважливіші бізнес-рішення у світі, однак прогнозне моделювання на їхній основі досі потребує тижнів інженерії ознак, навчання під конкретні завдання та налаштованих конвеєрів. Базові моделі структурованих даних змінюють це з тих самих трьох причин:
Вища точність уже сьогодні: Як готова заміна, ці моделі вже перевершують багато виробничих конвеєрів, особливо XGBoost. У завданнях класифікації RelBench V1 Kumo Relational у середньому випереджає дерева з градієнтним бустингом на ознаках, розроблених експертами, майже на 4 пункти AUROC. У SAP SALT вона без додаткових налаштувань випереджає XGBoost на інженерно створених ознаках на 7 пунктів MRR, а після донавчання — на 13 пунктів MRR. Ці результати переконливо свідчать на користь заміни виробничих конвеєрів XGBoost на Kumo Relational.
Простота та гнучкість: Одна попередньо навчена модель замінює окремі конвеєри для індивідуальних завдань. Новий прогноз стає запитом, а не проєктом, тож команди машинного навчання нарешті можуть братися за варіанти використання, які традиційне машинне навчання робило надто трудомісткими для створення на будь-якому рівні організації.
Агенти, здатні прогнозувати: Великі мовні моделі дають агентам змогу читати, записувати та міркувати. Базові моделі структурованих даних дають їм змогу передбачати те, що станеться далі, наприклад який клієнт припинить користуватися послугою, і діяти відповідно. Kumo Relational уже створена для виклику агентами, а її Predictive Query Language (PQL) надає їм простий інтерфейс для постановки прогнозних запитань.
Сьогодні ми представляємо Kumo Relational (стаття, документація) — попередньо навчену базову модель, яка переносить цю парадигму на реляційні дані. Підключіть базу даних, опишіть, що потрібно спрогнозувати, і отримайте прогнози за один прямий прохід. Навчання не потрібне.
Як працює Kumo Relational
Більшість базових моделей для структурованих даних працюють з однією пласкою таблицею. Натомість дані реального світу зберігаються в реляційних базах даних: користувачі пов’язані із замовленнями, замовлення — із товарами, і все це змінюється з часом. Перетворення цих зв’язків на один рядок за допомогою ручної агрегації (наприклад, «середня вартість замовлення за останні 30 днів») призводить до втрати деталізованих структурних сигналів і потребує значних людських зусиль.
Kumo Relational — це реляційна базова модель, яка працює безпосередньо з базою даних, зберігаючи її таблиці, зовнішні ключі та часові мітки. Вона одноразово попередньо навчається на синтетичних реляційних даних, що відображають набори даних реального світу, і адаптується до кожного нового завдання за допомогою навчання в контексті, зчитуючи до 10 000 контекстних прикладів під час висновування. Кожен приклад поєднує локальний підграф навколо сутності в певний момент часу з цільовим значенням, відомим із фактичних даних (наприклад, «цей користувач припинив користуватися послугою» або «цей товар продали в кількості 142 одиниць»).
![Огляд системи NVIDIA Kumo Relational: (a) інтеграція бази даних, (b) інтерфейс запитів, який перетворює природну мову на прогнозний запит, і (c) автоматичне генерування контексту, що подається моделі NVIDIA Kumo Relational, яка горизонтально масштабується між орендарями.]
Рисунок 1. Огляд системи Kumo Relational. Підключіть базу даних, вкажіть прогнозний запит, а Kumo Relational виконає решту — від генерування контексту до висновування моделі.
Щоб створити прогноз, Kumo Relational має виконати три дії: (1) зрозуміти значення в кожній таблиці, (2) пов’язати записи між таблицями та (3) пов’язати контекстні приклади з відомими цільовими значеннями із сутністю, для якої створюється прогноз. Ось як це працює:
![Архітектура Kumo Relational: (a) контекстний вхід із таблицями завдань, користувачів, замовлень і товарів; (b) увага до стовпців і рядків у таблицях із доданими цільовими значеннями контексту; (c) графова увага та міжвибіркова увага між таблицями.]
Рисунок 2. Архітектура Kumo Relational: (a) вхідний контекст, (b) міркування всередині таблиць, (c) міркування між таблицями.
Автоматичне генерування контексту: Завдання записуються мовою Predictive Query Language (PQL) — декларативним інтерфейсом, у якому ви вказуєте, що потрібно спрогнозувати, а не як це зробити. Для часових завдань Kumo Relational відтворює історичні стани бази даних: вона вибирає підграфи з центром на сутності до опорної часової мітки та обчислює кожне цільове значення на основі подій після цієї мітки, водночас надаючи моделі лише дані до неї. Це запобігає витоку даних.
Міркування всередині таблиць: Легка мережа незалежно обробляє кожну таблицю, почергово застосовуючи увагу до стовпців (встановлення зв’язків між значеннями в одному стовпці) та увагу до рядків (встановлення зв’язків між ознаками в одному рядку). Модель вивчає, які стовпці та рядки важливі для поточного прогнозу, і відфільтровує шум до його поширення.
Міркування між таблицями: Більша мережа розподіляє вбудовування рядків у реляційній структурі за допомогою графової уваги до зв’язків між первинними та зовнішніми ключами, чергуючи її з міжвибірковою увагою між контекстними прикладами. Саме тут відбувається реляційне міркування, наприклад пов’язування профілю користувача з історією його транзакцій. Оскільки цей етап працює з вбудовуваннями рядків, а не з кожною клітинкою кожної таблиці, така конструкція уникає квадратичної вартості обчислень і масштабується до великих контекстів та глибших підграфів.
Як було створено Kumo Relational
Kumo Relational попередньо навчалася на повністю синтетичних реляційних даних, змодельованих так, щоб відображати реальні реляційні бази даних із різноманітними прогнозними запитами. Попереднє навчання відбувається поетапно — від окремих таблиць до дедалі складніших реляційних структур.
Різноманітні реляційні бази даних, необхідні для попереднього навчання, рідко є загальнодоступними, тому цю прогалину заповнюють синтетичні дані. Генератор Kumo Relational базується на підході PluRel (Kothapalli та ін., ICML 2026), який розширює генератори даних для окремих таблиць до повних реляційних баз даних. Члени команди Kumo допомагали розробляти PluRel і стали співавторами оригінальної статті. PluRel генерує кожну базу даних у три етапи: схему, зв’язки зовнішніх ключів між рядками, які об’єднуються так само, як у реальних даних, і значення стовпців зі структурних причинно-наслідкових моделей із часовими тенденціями та міжтабличними залежностями. Генерування є легким, тому дані для попереднього навчання фактично необмежені, а стаття PluRel показує, що втрата під час попереднього навчання підпорядковується степеневому закону в міру додавання синтетичних баз даних, причому здобуті переваги переносяться на реальні бази даних.
Завдяки цьому попередньому навчанню модель вчиться фільтрувати, співвідносити й агрегувати інформацію між таблицями, а не покладатися на фіксовані агрегації. Коли максимальна точність має вирішальне значення, Kumo Relational також можна донавчити на конкретному наборі даних і завданні.
Продуктивність
У цій статті ми оцінили Kumo Relational на 41 бенчмарку в 15 реляційних базах даних із RelBench V1 і V2, SAP SALT та 4DBInfer, що охоплюють електронну комерцію, медицину, корпоративну, соціальну й академічну сфери. Жоден із цих наборів даних не використовувався під час попереднього навчання. Kumo Relational перевершує найсильніші моделі з учителем як у класифікації, так і в регресії, зокрема моделі реляційного глибокого навчання та табличні ансамблі з ознаками, розробленими експертами. У таблиці лідерів RelArena-α, яка порівнює реляційні моделі та системи на RelBench V1, вона також відразу розташовується на фронті Парето за точністю та ефективністю:
![Точкова діаграма таблиці лідерів RelArena-α: відносна точність як Elo для завдань (вісь y) проти медіанного часу висновування на 1000 зразків (вісь x, логарифмічна шкала). Kumo Relational розташовується на фронті Парето приблизно за 17 секунд і значення Elo 1842. Найрезультативніший учасник, rt-plurel, досягає Elo 1878 приблизно за 7300 секунд, що приблизно у 430 разів повільніше. Усі інші базові моделі, системи інженерії ознак і моделі з учителем мають нижчі результати та працюють повільніше за Kumo Relational.]
Рисунок 3. Таблиця лідерів RelArena-α: Elo для завдань проти медіанного часу висновування на 1000 зразків (логарифмічна шкала). Kumo Relational приблизно у 430 разів швидша за найрезультативнішого учасника за подібної точності.
У статті також повідомляється, що на корпоративному бенчмарку SAP SALT Kumo Relational перевершує великі ансамблі AutoGluon на 8% за середнім оберненим рангом (MRR), а сучасні базові моделі для табличних даних — приблизно на 25%; після донавчання її перевага над AutoGluon зростає до 16%. Вона також добре працює у складних умовах: демонструє високі результати, коли контекстом є лише 0,2% навчальних даних, залишається стабільною після видалення до 75% зв’язків зовнішніх ключів і майже не втрачає якості після додавання великої кількості зашумлених стовпців.
Обмеження
Kumo Relational найкраще працює з даними, що містять змістовні зв’язки та часову динаміку, наприклад із поведінкою користувачів у часі. У завданнях із дуже великими навчальними наборами спеціалізовані моделі з учителем усе ще можуть дещо перевершувати прогнози в контексті, оскільки в наших бенчмарках використовувалося щонайбільше 10 000 контекстних прикладів. Донавчання базової моделі призначене саме для такого випадку. Прогнозні сигнали також мають бути доступними протягом обмеженої кількості переходів, тому почніть із цілеспрямованого запиту до кількох релевантних таблиць і за потреби розширюйте граф.
Демонстрація
Kumo Relational нативно виконує навчання в контексті поверх баз даних: у пам’яті, через конектори до баз даних і сховищ або через спеціальний графовий рушій, який обробляє понад 500 млрд рядків за допомогою відображеного в пам’ять введення-виведення зі швидкістю до 5 ГБ/с. Вона доступна в нещодавно випущеній бібліотеці NVIDIA structured-data-models, оптимізованій для GPU, — тій самій бібліотеці з відкритим кодом, яка забезпечує роботу спорідненої моделі Kumo Tabular. Під час першого використання бібліотека завантажує ваги з Hugging Face Hub, тож ви можете завантажити модель у ноутбуку з GPU та безпосередньо отримувати з неї прогнози. Наведений нижче код передає моделі контекстні приклади, сутності для прогнозування та пов’язані з ними таблиці:
import sdm
model = sdm.models.KumoRelational(device="cuda")
pred = model(
x_context=...,
y_context=...,
x_query=...,
related_context_tables=...,
related_query_tables=...,
)
Повні конвеєри RelBench і SAP SALT, зокрема спосіб вибірки пов’язаних таблиць кожної сутності, дивіться в реляційних прикладах бібліотеки.
Щоб натомість запустити модель як окремий сервіс, розгорніть її як NVIDIA NIM і вкажіть на нього з ноутбука через клієнт із відкритим кодом structured-data-models-client. Ви записуєте прогноз у PQL, а клієнт збирає контекстні приклади та пов’язані таблиці, після чого надсилає запит:
import sdm_client
client = sdm_client.SDMClient(url="http://localhost:8001")
query = sdm_client.PredictiveQuery(
"PREDICT COUNT(orders.*, 0, 30, days) FOR EACH users.user_id",
{"users": ..., "orders": ...},
)
pred = client.predict(
query.materialize(indices=[1, 2, 3]),
model=sdm_client.KumoRelational(),
)
Приклади наскрізних запусків у локальному NIM і в Databricks дивіться в прикладах ноутбуків клієнта.
Почніть створювати за допомогою NVIDIA Kumo Relational
NVIDIA Kumo Relational доступна вже сьогодні. Ознайомтеся з науковою статтею, перегляньте ноутбук із коротким стартом або почніть створювати прогнози на власних даних. Код випущено за ліцензією Apache 2.0, а ваги моделі — за ліцензійною угодою OpenMDW, версія 1.1. NVIDIA вважає, що надійний ШІ — це спільна відповідальність, і ми запровадили політики та практики, які сприяють розробленню широкого спектра застосунків ШІ. Під час завантаження або використання відповідно до наших умов обслуговування розробники мають співпрацювати з командою, яка підтримує модель, щоб переконатися, що ця модель відповідає вимогам відповідної галузі та варіанту використання, а також враховує непередбачене неналежне використання продукту. Повідомляйте про якість моделі, ризики, вразливості безпеки або проблеми, пов’язані з ШІ NVIDIA, тут.
- Стаття: https://arxiv.org/abs/2604.12596
- Документація: https://docs.nvidia.com/sdgm/rfm/overview
- Код: https://github.com/NVIDIA/structured-data-models
- PyPI: https://pypi.org/project/structured-data-models/
- Код клієнта: https://github.com/NVIDIA/structured-data-models-client
- PyPI клієнта: https://pypi.org/project/structured-data-models-client/
- Ваги: https://huggingface.co/nvidia/Kumo-Relational
- Ноутбук із коротким стартом: https://github.com/NVIDIA/structured-data-models-client/blob/main/examples/local/relational.ipynb
- Пов’язані дослідження: Predictive Query Language (PQL), PluRel, Kumo Tabular
Подяки
Ми дякуємо всій команді Kumo за неоціненну підтримку. Особлива подяка Josh Przybylko, Adi Wadaskar, Hema Raghavan, Manush Murali, Raja Rao DV, Keti Jovanovska, Zack Drach, Vanja Josifovski, Myungwhan Kim, Blaž Stojanovič, Siyang Xie, Alan Krumholz, Effy Fang, Abdullah Al-chihabi, Disha Dubey, Devan Johnson, Joseph Oliveira, Angela Liu, Miha Pelko, Vedaant Jain, Sally Liu, Aleksandar S. Sokolovski, Alex Porter та Ramona Bendias.
Спільнота
· Зареєструйтеся або увійдіть, щоб прокоментувати
Перекладено автоматично з англійської. Оригінал статті — за посиланням нижче.