P11 技术短文 · 数据视角

表格基础模型真正积累了什么?

不是又一张模型排行榜,而是一套更底层的数据图景:raw table 经过 task compiler, 才变成模型真正学习的 prediction problem。这个转换决定了领域的规模、能力边界, 也决定了下一篇值得写的综述应该收集什么。

一句话判断

表格基础模型领域真正具有复利价值的公共资产,不只是 TabPFN、LimiX 或下一代模型架构, 而是不断增长的 prediction-problem corpus:原始表格经过 target、feature view、 mask、context/query、split 和 metric 的组合,被编译成大量可训练、可比较的问题。

Raw tables → task compiler → prediction-problem corpus → context/query episodes → capability claims

Raw table 不是训练原子

同一张表可以选择不同 target,可以在 classification 与 regression 之间转换,可以只暴露部分列, 也可以改变 context/query rows、mask pattern 与 split semantics。更准确的训练原子是 (table, target, view, mask, context/query, split, metric)

因而“用了多少数据”至少有六种口径:source tables、schemas/domains、manufactured tasks、 sampled episodes、rows/cells 和 serialized tokens。把它们混成一个 scale,会遮蔽模型究竟见过什么。

三个规模信号,三种不同的数据能力

TabDPT · curated real

123 个 OpenML tables、3200 万行、20 亿 cells。真正可扩张的是随机 target、任务类型转换、 feature 子采样和 retrieval 组成的 task compiler,而不是表数本身。

T4 · web scale

420 万张 unique tables、21 亿行、约 1000 亿 tokens。它带来 schema 和语义长尾, 也放大 provenance、duplication、contamination 与 task intent 不清的问题。

BeyondArena · holistic evaluation

从 1,128 个候选整理出 142 个 datasets,覆盖 IID、grouped、temporal、text、scale 和 dimensionality; 它开始让 split semantics 真正改变模型排名。

P11 · causal pressure

现有数据仍主要支持 observational claims。stable unit、regime、selection、intervention provenance 与跨世界 pairing,才是下一层 query 所缺的数据对象。

Dataset passport 比表名更重要

一个可用于 foundation-model 研究的数据条目,至少应记录版本与许可、raw source 与 derivative lineage、 row 对应的 unit、重复观测与 time/context keys、target 和 preprocessing、missingness/selection mechanism、 split contract、corpus role,以及与 pretraining / benchmark 的 overlap。

如果这些字段缺失,我们可以报告 predictive performance,却很难知道模型是在跨任务学习, 还是利用了重复 unit、时间泄漏、数据衍生关系或 benchmark familiarity。

现有数据很丰富,但丰富得不对称

已经很强

row-IID prediction、schema transfer、semantic features、随机 masking、observational generation。

仍然稀缺

stable units、repeated measurements、regime/context、selection policy、intervention provenance、paired counterfactuals。

所以 masked conditional modeling 可以成为很强的 prediction / imputation / generation 基座, 却不能仅凭恢复 observational joint distribution,就被解释为已经识别了 intervention 或 counterfactual mechanism。

P11 接下来要造的两个数据资产

Living Dataset Atlas

逐模型记录 tables、task compilers、corpus roles、lineage 和 overlap, 让“模型究竟见过什么”成为可审计问题。

Causal Data Foundry

从小型 paired worlds 开始,加入 repeated units、context shifts、MNAR、marked interventions 与 observationally equivalent SCM pairs。

第一个资产即使不产生新模型,也能成为领域基础设施;第二个资产只有在 matched-information benchmark 中改变模型排名、split 选择或设计结论时,才足以把综述推进成新的研究贡献。

查看 P11 当前进展与下一关 →

Primary evidence