NVIDIA пуска Kumo Tabular: отворени таблични фундаментални модели, които предвиждат нови редове с едно пряко преминаване

NVIDIA представи Kumo Tabular — ново семейство фундаментални модели за таблични данни (TFM) за класификация и регресия. Ако сте следили TabPFN или TabICL, настройката ще ви се стори позната. Моделът използва означени редове като контекст и предсказва нови редове с един проход напред. Няма обучение, настройване на хиперпараметри или инженеринг на характеристики.

Kumo Tabular се предлага във версии Small, Medium и Large, обхващащи приблизително от 28 млн. до 215 млн. параметъра. Работи чрез библиотеката structured-data-models (SDM) на NVIDIA с отворен код.

Може ли да се внедри? Да. Теглата се разпространяват под лиценза OpenMDW-1.1, който разрешава търговска употреба. Кодът на SDM е под лиценза Apache-2.0 и изисква Python 3.11+ и PyTorch 2.7+, като примерите са предназначени за CUDA GPU.

Какво добавя библиотеката SDM

SDM е GPU-нативна библиотека за фундаментални модели и предварителна обработка на структурирани данни. Освен Kumo Tabular, тя включва TabICLv2, TabFM на Google и KumoRelational за данни от множество таблици. Всички модели споделят един интерфейс за обучение в контекст, изграден върху контейнера TableTensor. Библиотеката също така обработва предварителната обработка, ансамблирането и предсказването при много класове.

Как работи Kumo Tabular

Kumo Tabular е Transformer, изграден около структурата на таблица. Той използва внимание към колони, редове и контекст, както е представено в TabICL и TabPFN. Конвейерът има 3 етапа:

• Вграждане на клетки: Числовите и категориалните стойности преминават през научени характеристики на Фурие, с отделни тегла за всеки тип. Липсващите стойности не изискват импутиране.
• Вграждане на редове: Вниманието към колоните използва индуцирано самовнимание, така че разходите нарастват линейно спрямо броя на редовете. Вниманието към редовете, с ротационни позиции, научава взаимодействията между характеристиките. 4 обучаеми токена [CLS] компресират всеки ред.
• Обучение в контекст: Финален Transformer работи върху вгражданията на редовете. Контекстните редове си взаимодействат, докато редовете за заявка обръщат внимание само към контекстните редове.

Тъй като контекстът никога не вижда заявките, неговите ключове и стойности се изчисляват веднъж и се използват повторно. Главата извежда вероятности за класовете или 999 квантила за регресия. Това дава точкова прогноза плюс оценка на несигурността.

Още един детайл е важен при мащабиране. Вниманието softmax се разпределя по-тънко с увеличаването на броя ключове. Kumo Tabular мащабира всяка заявка чрез температура, която нараства с логаритъма на броя ключове. Коефициентът се научава за всяка глава на вниманието, така че вниманието да остане концентрирано при по-големи таблици.

Обучен само върху изкуствени таблици

Kumo Tabular е предварително обучен изцяло върху синтетични таблици, генерирани от структурни причинно-следствени модели (SCM). Случайна причинно-следствена графика свързва скрити променливи чрез линейни преобразувания, малки невронни мрежи, дървета или гаусови процеси. Генераторът също така включва реалистични и несъвършени модели от реалния свят: липсващи стойности, категории с голяма кардиналност, цели с тежки опашки и противоречащи си дублирани редове.

Обучението е проведено на 3 етапа, подобно на TabICLv2. Контекстът нараства от 1024 реда до 60 000 реда, с до 100 колони. Small, Medium и Large са видели съответно около 35 млн., 71 млн. и 137 млн. изкуствени таблици. Класификацията и регресията се обучават като отделни модели. NVIDIA заявява, че рецептата за обучение и генераторите на данни ще бъдат публикувани скоро.

Бенчмаркове

При настройките по подразбиране Kumo Tabular се класира на първо място като цяло в TabArena с Elo 1950. Екипът на NVIDIA съобщава, че той работи 17 пъти по-бързо от LimiX-2 на един RTX 6000 Pro. И трите размера са на фронта на Парето по отношение на точността и времето за инференс.

• BeyondArena: Първо място с Elo 1418 и резултат за подобряемост от 7,78%.
• TALENT: Най-високо общо класиране със средни позиции 6,67 (точност), 3,98 (log-loss) и 4,22 (RMSE).
• ScoringBench: Large и Medium заемат съответно първо и второ място по средна позиция.

Kumo Tabular спрямо най-близките му конкуренти

Източници: блогът на NVIDIA, документацията за моделите на SDM, документацията на Prior Labs, LimiX в GitHub, статията за TabICLv2. Проверено на 30 септември 2026 г.

Редът за лиценза е истинската отличителна черта. Теглата на TabPFN-3, LimiX-2 и TabFM са под некомерсиални условия. Kumo Tabular и TabICLv2 са по-либералните опции, а Kumo Tabular води в бенчмарковете, за които NVIDIA съобщава.

Първи стъпки

Инсталирайте библиотеката и подайте DataFrame чрез TableTensor, следвайки картата на модела:

# pip install structured-data-models
from sklearn.datasets import load_breast_cancer
import sdm

df = load_breast_cancer(as_frame=True).frame
table = sdm.TableTensor.from_pandas(
    df=df,
    stypes=sdm.infer_stypes(df, overrides={"target": "categorical"}),
    device="cuda",
)
model = sdm.models.KumoTabular(task="classification", device="cuda")
probs = model(
    x_context=table[:300].drop_columns("target"),
    y_context=table[:300, "target"],
    x_query=table[300:].drop_columns("target"),
    num_estimators=8,
)

Аргументът size приема "small", "medium" или "large", като стойността по подразбиране е large.

Основни изводи

• Kumo Tabular на NVIDIA предсказва нови редове в таблица с 1 проход напред, без обучение.
• 3 размера обхващат приблизително от 28 млн. до 215 млн. параметъра и са предварително обучени само върху синтетични таблици.
• NVIDIA съобщава за първо място в TabArena (Elo 1950), BeyondArena, TALENT и ScoringBench.
• Теглата с лиценз OpenMDW-1.1 позволяват търговска употреба, за разлика от TabPFN-3, LimiX-2 и TabFM.
• Работи чрез GPU-нативната библиотека SDM на NVIDIA заедно с TabICLv2, TabFM и KumoRelational.

Разгледайте модела в HF, GitHub хранилището и техническите подробности. Цялата заслуга е на изследователя на този проект. Също така, можете да ни последвате в Twitter и не забравяйте да се присъедините към нашия 150k+ ML SubReddit и да се абонирате за нашия бюлетин. Чакайте! В Telegram ли сте? сега можете да се присъедините към нас и в Telegram.

Имате нужда от партньор за популяризиране на вашето GitHub хранилище ИЛИ страница в Hugging Face ИЛИ продуктово издание ИЛИ уебинар и т.н.? Свържете се с нас