Prior Labs выпустила TabPFN-3.5: базовую модель для табличных данных, превосходящую победившее решение Otto на Kaggle с настройками по умолчанию

Prior Labs выпустила TabPFN-3.5 — новейшую версию своей фундаментальной модели для табличных данных. Она делает предсказания по таблице за один прямой проход, без обучения или настройки под каждый набор данных. Prior Labs сообщает о первом месте на 7 бенчмарках табличных данных. Отдельная демонстрация показывает, что модель превзошла решение-победитель известного конкурса Kaggle 2015 года.

Можно ли развернуть? Да, при наличии лицензии. Модель с открытыми весами работает локально для исследований, оценки и Kaggle, однако для использования в продакшене необходим API Prior Labs или коммерческая лицензия.

Результат на Otto

Соревнование Otto Group Product Classification Challenge проходило на Kaggle в 2015 году. В нём приняли участие 3 505 команд, боровшихся за приз в размере 10 000 долларов. Участники распределяли товары по 9 категориям, используя 93 обфусцированных признака-количества. Результаты оценивались с помощью логарифмической потери для мультиклассовой классификации, где меньшее значение лучше.

Решение-победитель принадлежало Жилберто Титеричу и Станиславу Семёнову. Оба занимали первое место в мировом рейтинге гроссмейстеров Kaggle. Их решение представляло собой многоуровневый стек из 36 моделей, построенный на вручную созданных признаках.

Ник Эриксон, соавтор AutoGluon и исследователь в области ИИ в Prior Labs, годами пытался превзойти этот результат. По словам Эриксона, AutoGluon занял 23-е место в своей статье 2020 года. AutoGluon 1.0 достиг 14-го места в 2023 году, а AutoGluon 1.6 занял 9-е место в августе 2026 года.

Последний рывок оказался самым сложным. Переход с 50-го на 10-е место снизил логарифмическую потерю с 0,41 до 0,40. Чтобы с 10-го места достичь победного результата 0,382, потребовалось ещё 0,018 — почти вдвое больше.

TabPFN-3.5 набрала 0,375 на приватном лидерборде. Эриксон утверждает, что модель работала на исходных данных с настройками по умолчанию. На GPU RTX PRO 6000 это заняло около минуты. Модель предварительно обучалась только на синтетических данных и никогда не видела Otto или какой-либо набор данных Kaggle. В открытом доступе находится воспроизводимый блокнот Kaggle.

Результаты на бенчмарках

В техническом отчёте указано первое место на TabArena, BeyondArena, STRABLE, MulTaBench, RelArena-α, TALENT и ScoringBench. Первое место не всегда занимает базовая модель. TabPFN-3.5-Thinking лидирует на TabArena, BeyondArena, STRABLE и MulTaBench. Предварительная версия внутреннего комплекса TabPFN-Rel занимает первое место на RelArena-α.

На TabArena — постоянно обновляемом бенчмарке из 51 набора данных — Thinking достигает 1910 Elo. Базовая модель набирает 1866, опережая TabFM+ с результатом 1823. Prior Labs заявляет, что базовая модель превосходит AutoGluon 1.6 extreme на 130 пунктов Elo, работая в пять раз быстрее.

BeyondArena включает 142 набора данных со сгруппированными, временными, широкими, насыщенными текстом данными и данными с высокой кардинальностью. TabPFN-3.5 завершает тестирование примерно на 150 пунктов Elo впереди предыдущего общего лидера. Настроенные ансамблированные MLP по-прежнему лидируют на срезах со сгруппированными, временными данными и большими наборами данных.

Что изменилось внутри

• Более широкая модель: Трансформер с обучением в контексте увеличен с 512 до 1024 измерений. Число параметров выросло до 220 млн по сравнению с 53 млн у TabPFN-3 для классификации.
• 1 контрольная точка: Одна контрольная точка для многозадачного обучения теперь охватывает классификацию и регрессию.
• Новые кодировки ячеек: Значения проходят через обучаемые признаки Фурье и ранги ECDF в контексте. Ранги не изменяются при монотонных преобразованиях, таких как логарифмическое масштабирование.
• Более простая предобработка: Квантильные преобразования, робастное масштабирование и признаки SVD удалены.
• Масштаб: До 1 млн строк, рекомендовано 6 000 признаков, поддерживается до 20 000.
• Настроенный априор: Синтетические данные теперь уделяют больше внимания таблицам с высокой кардинальностью, широким таблицам и сгруппированным данным.

Размер KV-кэша остаётся примерно таким же, как у TabPFN-3, несмотря на примерно в 4 раза большее число параметров. Кэшированные предсказания для одной строки выполняются с той же скоростью, что и в TabPFN-3. Однако на больших обучающих выборках базовая модель работает до 2 раз медленнее TabPFN-3.

Семейство моделей

• TabPFN-3.5: Открытые веса, 220 млн параметров, по умолчанию 8 оценщиков.
• TabPFN-3.5-Fast (альфа): Открытые веса, 84 млн параметров, до 6 раз быстрее базовой модели.
• TabPFN-3.5-Plus: Только API и корпоративный доступ. Добавляет встроенную обработку текста и внимание FP8.
• TabPFN-3.5-Thinking: Использует дополнительные вычисления при выводе, без LLM, реальных данных или поиска. Работает до 12 раз быстрее TabPFN-3-Thinking.

Основные выводы

• TabPFN-3.5 набирает 0,375 на Otto, превосходя победный результат 2015 года — 0,382.
• Для запуска на Otto использовались исходные данные и настройки по умолчанию; он занял около 1 минуты.
• Prior Labs сообщает о первом месте на 7 бенчмарках табличных данных.
• Базовая модель увеличена до 220 млн параметров и использует кодировки Фурье и ECDF.
• Открытые веса предназначены для некоммерческого использования; для продакшена необходимы API или лицензия.

---

Ознакомьтесь с техническим отчётом и техническими подробностями. Вся благодарность принадлежит исследователю этого проекта. Также подписывайтесь на нас в Twitter и не забудьте присоединиться к нашему сабреддиту о машинном обучении с более чем 150 тыс. участников и подписаться на нашу рассылку. Стоп! Вы пользуетесь Telegram? теперь вы также можете присоединиться к нам в Telegram.

Хотите сотрудничать с нами в продвижении своего репозитория GitHub, страницы на Hugging Face, релиза продукта, вебинара и т. д.? Свяжитесь с нами