Prior Labs представи TabPFN-3.5: базов модел за таблични данни, който надминава печелившото решение в Kaggle за Otto с настройки по подразбиране

Prior Labs пусна TabPFN-3.5, най-новата версия на своя фундаментален модел за таблични данни. Той прави прогнози върху таблица с един пряк проход, без обучение или настройване за всеки отделен набор от данни. Prior Labs съобщава за първо място в 7 бенчмарка за таблични данни. Отделна демонстрация показва, че моделът побеждава печелившото решение от известното състезание на Kaggle от 2015 г.

Подходящ ли е за внедряване? Да, с лиценз. Отворените тегла могат да се изпълняват локално за изследвания, оценяване и Kaggle, но използването в производствена среда изисква API на Prior Labs или търговски лиценз.

Резултатът от Otto

Състезанието за класификация на продукти на Otto Group се проведе в Kaggle през 2015 г. То привлече 3505 екипа, които се състезаваха за 10 000 долара. Участниците трябваше да разпределят продуктите в 9 категории, използвайки 93 замъглени характеристики за броя. Подадените решения бяха оценявани с мултикласова логаритмична загуба, при която по-ниската стойност е по-добра.

Печелившото решение беше създадено от Gilberto Titericz и Stanislav Semenov. И двамата са били на първо място в световната класация на големите майстори на Kaggle. Тяхното решение представляваше многослоен стек от 36 модела, базирани на ръчно конструирани характеристики.

Nick Erickson, създател на AutoGluon и изследовател в областта на изкуствения интелект в Prior Labs, от години се опитва да достигне този резултат. Според Erickson AutoGluon е заел 23-то място в своята публикация от 2020 г. AutoGluon 1.0 достига 14-то място през 2023 г., а AutoGluon 1.6 заема 9-то място през август 2026 г.

Последният етап беше най-труден. Преминаването от 50-то към 10-то място намали логаритмичната загуба от 0,41 на 0,40. Достигането на печелившите 0,382 от 10-то място изискваше допълнително намаление с 0,018 — почти двойно повече.

TabPFN-3.5 постига 0,375 в частната класация. Erickson казва, че е работил със сурови данни и настройки по подразбиране. Изпълнението е отнело около минута на графичен процесор RTX PRO 6000. Моделът е бил предварително обучен единствено върху синтетични данни и никога не е виждал Otto или друг набор от данни на Kaggle. Публично е достъпен възпроизводим Kaggle notebook.

Резултати от бенчмарковете

Техническият доклад посочва първо място в TabArena, BeyondArena, STRABLE, MulTaBench, RelArena-α, TALENT и ScoringBench. Най-добрият участник невинаги е базовият модел. TabPFN-3.5-Thinking заема първо място в TabArena, BeyondArena, STRABLE и MulTaBench. Вътрешната предварителна версия на инструмента TabPFN-Rel заема първо място в RelArena-α.

В TabArena, постоянно обновяван бенчмарк с 51 набора от данни, Thinking достига 1910 Elo. Базовият модел получава 1866, изпреварвайки TabFM+ с 1823. Prior Labs твърди, че базовият модел превъзхожда AutoGluon 1.6 extreme със 130 Elo при една пета от времето за изпълнение.

BeyondArena обхваща 142 набора от данни с групирани, времеви, широки, богати на текст и данни с висока кардиналност. TabPFN-3.5 завършва с около 150 Elo точки пред предишния общ лидер. Настроените и ансамблирани MLP модели все още водят при неговите поднабори с групирани, времеви и големи данни.

Какво се промени под капака

• По-широк модел: Трансформърът за контекстно обучение нараства от 512 до 1024 измерения. Броят на параметрите достига 220 млн. спрямо 53 млн. при TabPFN-3 за класификация.
• 1 контролна точка: Една-единствена контролна точка за многозадачно обучение вече обхваща класификация и регресия.
• Нови кодирания на клетките: Стойностите преминават през научени характеристики на Фурие и контекстни рангове на ECDF. Ранговете не се променят при монотонни трансформации като логаритмично мащабиране.
• По-лесна предварителна обработка: Квантилните трансформации, устойчивото мащабиране и характеристиките от SVD са премахнати.
• Мащаб: До 1 млн. реда, като се препоръчват 6000 характеристики, а се поддържат до 20 000.
• Настроен априор: Синтетичните данни вече наблягат на таблици с висока кардиналност, широки таблици и групирани таблици.

Кешът KV запазва приблизително същия размер като при TabPFN-3, въпреки че параметрите са около 4 пъти повече. Кешираните прогнози за единичен ред съответстват на скоростта на TabPFN-3. При големи обучаващи набори обаче базовият модел работи до 2 пъти по-бавно от TabPFN-3.

Семейството модели

• TabPFN-3.5: Отворени тегла, 220 млн. параметри, 8 оценители по подразбиране.
• TabPFN-3.5-Fast (алфа): Отворени тегла, 84 млн. параметри, до 6 пъти по-бърз от базовия модел.
• TabPFN-3.5-Plus: Само за API и корпоративни клиенти. Добавя вградена обработка на текст и FP8 внимание.
• TabPFN-3.5-Thinking: Използва допълнителен изчислителен ресурс при извеждане, без LLM модели, реални данни или търсене. Работи до 12 пъти по-бързо от TabPFN-3-Thinking.

Основни изводи

• TabPFN-3.5 постига 0,375 в Otto, надминавайки печелившия резултат от 2015 г. от 0,382.
• Изпълнението върху Otto използва сурови данни и настройки по подразбиране и отнема около 1 минута.
• Prior Labs съобщава за първо място в 7 бенчмарка за таблични данни.
• Базовият модел нараства до 220 млн. параметри с кодирания на Фурие и ECDF.
• Отворените тегла са за некомерсиална употреба; производственото използване изисква API или лиценз.

---

Разгледайте техническия доклад и техническите подробности. Цялата заслуга принадлежи на изследователя на този проект. Също така можете да ни последвате в Twitter и не забравяйте да се присъедините към нашия 150k+ ML SubReddit и да се абонирате за нашия бюлетин. Чакайте! В Telegram ли сте? Вече можете да се присъедините към нас и в Telegram.

Имате нужда от партньор за популяризиране на вашето GitHub хранилище ИЛИ страница в Hugging Face, ИЛИ представяне на продукт, ИЛИ уебинар и т.н.? Свържете се с нас