表格基础模型真正积累了什么?
不是又一张模型排行榜,而是一套更底层的数据图景:raw table 经过 task compiler, 才变成模型真正学习的 prediction problem。这个转换决定了领域的规模、能力边界, 也决定了下一篇值得写的综述应该收集什么。
一句话判断
表格基础模型领域真正具有复利价值的公共资产,不只是 TabPFN、LimiX 或下一代模型架构, 而是不断增长的 prediction-problem corpus:原始表格经过 target、feature view、 mask、context/query、split 和 metric 的组合,被编译成大量可训练、可比较的问题。
Raw table 不是训练原子
同一张表可以选择不同 target,可以在 classification 与 regression 之间转换,可以只暴露部分列,
也可以改变 context/query rows、mask pattern 与 split semantics。更准确的训练原子是
(table, target, view, mask, context/query, split, metric)。
因而“用了多少数据”至少有六种口径:source tables、schemas/domains、manufactured tasks、 sampled episodes、rows/cells 和 serialized tokens。把它们混成一个 scale,会遮蔽模型究竟见过什么。
三个规模信号,三种不同的数据能力
TabDPT · curated real
123 个 OpenML tables、3200 万行、20 亿 cells。真正可扩张的是随机 target、任务类型转换、 feature 子采样和 retrieval 组成的 task compiler,而不是表数本身。
T4 · web scale
420 万张 unique tables、21 亿行、约 1000 亿 tokens。它带来 schema 和语义长尾, 也放大 provenance、duplication、contamination 与 task intent 不清的问题。
BeyondArena · holistic evaluation
从 1,128 个候选整理出 142 个 datasets,覆盖 IID、grouped、temporal、text、scale 和 dimensionality; 它开始让 split semantics 真正改变模型排名。
P11 · causal pressure
现有数据仍主要支持 observational claims。stable unit、regime、selection、intervention provenance 与跨世界 pairing,才是下一层 query 所缺的数据对象。
Dataset passport 比表名更重要
一个可用于 foundation-model 研究的数据条目,至少应记录版本与许可、raw source 与 derivative lineage、 row 对应的 unit、重复观测与 time/context keys、target 和 preprocessing、missingness/selection mechanism、 split contract、corpus role,以及与 pretraining / benchmark 的 overlap。
现有数据很丰富,但丰富得不对称
已经很强
row-IID prediction、schema transfer、semantic features、随机 masking、observational generation。
仍然稀缺
stable units、repeated measurements、regime/context、selection policy、intervention provenance、paired counterfactuals。
所以 masked conditional modeling 可以成为很强的 prediction / imputation / generation 基座, 却不能仅凭恢复 observational joint distribution,就被解释为已经识别了 intervention 或 counterfactual mechanism。
P11 接下来要造的两个数据资产
Living Dataset Atlas
逐模型记录 tables、task compilers、corpus roles、lineage 和 overlap, 让“模型究竟见过什么”成为可审计问题。
Causal Data Foundry
从小型 paired worlds 开始,加入 repeated units、context shifts、MNAR、marked interventions 与 observationally equivalent SCM pairs。
第一个资产即使不产生新模型,也能成为领域基础设施;第二个资产只有在 matched-information benchmark 中改变模型排名、split 选择或设计结论时,才足以把综述推进成新的研究贡献。
查看 P11 当前进展与下一关 →