NVIDIA 开放表格模型 Kumo Tabular:无需训练,一次前向出预测
NVIDIA 9 月 29 日开放 Kumo Tabular,一个面向表格数据的基础模型:给它一张带标签行的表,它在一次前向计算里完成分类或回归,不需要训练、调参或特征工程。模型有 2800 万到 2.15 亿参数三种尺寸,只用合成数据预训练,按允许商用的 OpenMDW-1.1 许可发布权重。它在 TabArena 排名第一(ELO 1950),速度是 LimiX-2 的 17 倍;但博客没有给出与 XGBoost 等传统方法的直接对比。
编辑标为信号级,适合持续跟踪。
本页目录12 节
记录
信号正文
#发生了什么
9 月 29 日 NVIDIA 在 Hugging Face 博客上发布 Kumo Tabular:代码在 GitHub,权重在 Hugging Face,按允许商用的 OpenMDW-1.1 许可发布。
它怎么工作
表格预测的传统做法是为每张表单独训练一个模型,比如梯度提升树,再花时间调参、做特征。Kumo Tabular 走的是另一条路:它是预训练好的基础模型,推理时把整张带标签的表当作上下文读进去,一次前向计算就给出新行的预测,分类和回归都支持。
- 三种尺寸,参数从 2800 万到 2.15 亿,比语言模型小几个数量级。
- 只用合成数据预训练,没有用任何真实表格。
基准成绩
- TabArena:ELO 1950,排名第一,速度是 LimiX-2 的 17 倍。
- BeyondArena:ELO 1418,排名第一。
- TALENT:总排名第一,分类准确率、对数损失、回归 RMSE 的平均名次分别为 6.67、3.98、4.22。
- ScoringBench:中号和大号分列第一、第二。
这些都是排行榜名次,对手主要是其他表格基础模型。博客没有给出与 XGBoost、LightGBM 这类传统方法的逐项数字,而对大多数团队,真正要回答的正是「它比我现在用的梯度提升树好多少」。
需要自己核对的地方
- 只用合成数据预训练的模型,在分布很特别的真实业务表上表现如何,排行榜回答不了。
- 把整张表作为上下文,通常意味着表的行数和列数有上限;博客没有在正文里写明,用之前先看模型卡。
- 不需要训练,换来的是每次预测都要读整张表。数据量大、预测频繁时,它的成本结构和「训练一次、反复调用」的传统模型不同。
对读者意味着什么
如果你有很多张中小型表、每张都要单独建模,它值得一试:在同一份留出数据上,把它和你现有的基线比一次。如果你只有一张大表、模型已经调好,先别急着换。
为什么是现在
为什么重要
#表格是企业里最常见的数据,建模却一直是每张表单独训练、调参。Kumo Tabular 把它变成一次前向计算,而且开放权重、允许商用。它在排行榜上领先,却没有和大多数团队真正在用的梯度提升树直接比较;值不值得换,要在你自己的数据上量。
背景
技术背景
#表格预测通常用 XGBoost、LightGBM 这类梯度提升树,每张表单独训练。表格基础模型(TabPFN 一类)改为在大量合成表上预训练,推理时把带标签的样本当作上下文做上下文内学习,不再针对单张表训练。
关注人群
谁该关注
#下一步
学习路径
#- 读《合成数据与数据配方》,理解只用合成数据预训练意味着什么
- 读《模型选型与约束匹配》,想清楚你的表有多大、预测有多频繁
- 拿一张现有的业务表,在同一份留出数据上对比 Kumo Tabular 与你现有的梯度提升树
- 读模型卡,确认表的行数与列数上限
关系网络
在技术网络中的位置
#当前技术与相邻技术、技能和背景知识的连接,点击节点可继续探索。
延伸思考
后续问题
#- 你的表格预测任务里,有多少张表是中小型、各自单独建模的?
- 在同一份留出数据上,它比你现有的梯度提升树好多少?
- 你的业务表分布有多特别?只用合成数据预训练的模型能否覆盖?
发布记录
收录于
#收录这条信号的技术简报,新的在前;最后一行是它那一周的周回顾。标签是它在那一期所在的栏目。
来源参考