已经完成
- 英文 survey / position manuscript v0.2。
- 同步中文问题导读。
- 24 篇 primary-source evidence matrix。
- 数据版图、11-entry registry 与技术 Dataset Atlas。
P11 · RQ11 · Owner-prioritized Review Wedge
表格基础模型究竟学到了什么？
从 in-context prediction 到 structured-data world model，真正需要分清的不是 Transformer 架构，而是模型学到并能够回答的对象：predictive conditional、semantic representation、observational joint distribution，还是 intervention / counterfactual mechanism。P11 用 DiscoSCM 把这些对象拆开，并把差距变成可证伪的 benchmark。
paper.md v0.2
中文同步导读
24-source matrix
11-entry dataset registry v0.2
not submission-ready
事项进展 · 已形成综述骨架，尚未越过实证门
这里是 P11 的公开进度入口。技术文章负责解释数据图景；paper artifacts 与 portfolio state 继续负责事实、证据和 WIP 边界。
尚未成立
- 不是 systematic review，也没有完整 selection protocol。
- dataset-level lineage、alias 与 pretraining overlap 尚未审计完。
- repeated-unit / grouped / context-shift benchmark 尚未运行。
- 没有外部同行评审，也未进入 submission lane。
下一关
先把 OpenML-CC18、CTR23、TabArena 与 BeyondArena 扩成 dataset/task-level passports， 再跑一个 matched-information benchmark cell，观察 split 语义是否改变模型排名或设计选择。
资源边界
P11 可以继续做 source synthesis 与 manuscript correction；实现、benchmark execution 或投稿 sprint 需要显式重分配 WIP，不自动挤掉 P23 delivery 与 P20 research。
一句话判断
当前 TFM 最稳妥的身份，是在跨数据集先验下形成的强大 amortized observational learner；它们是构造 causal structured-data FM 的重要底座，但尚不能仅凭 synthetic SCM pretraining 或 masked joint modeling 被视为已经识别了因果机制。
为什么现在值得写
TabPFN 系列把“每张表重新训练”改写成 learned learning algorithm；LimiX 把预测、 插补和生成统一为 masked conditional query；TabFM 与 TabPFN-3 又把 scale、context 和应用范围向前推进。这个时点已经足够形成一篇 object-level review。
当前贡献
- 按 transferred object，而不是按架构组织领域。
- 把 raw tables → task compiler → prediction problems 设为数据主轴。
- 给出 observational equivalence 的最小反例。
- 用 unit / context / noise / query 做 DiscoSCM audit。
- 提出 repeated-unit、regime、MNAR 与 intervention benchmark。
项目边界
P11 是 owner 指定的高优先级候选，但目前不是投稿 lane。P23 delivery 与 P20 research 仍占用两条 WIP；P11 进入实现或 venue sprint 前必须显式重分配注意力。
数据版图 · 真正的 foundation substrate 是 prediction-problem corpus
一张 raw table 不是一个固定任务。target、feature view、mask、context/query、split 与 metric 共同把它编译成 prediction problem；TFM 学到的是这些任务的分布。
1 · Raw data worlds
Synthetic DGP、curated OpenML tables、web-scale tables 与 operational databases 提供不同种类的真实或模拟世界。
2 · Task compiler
选择 target、可见列、mask、context/query rows、split 与 metric；同一张表可以制造组合数量的任务。
3 · Corpus roles
同一数据可能进入 pretraining、retrieval、tuning、validation、benchmark curation 或 final test，必须记录重叠。
4 · Claim boundary
prediction、generation、transport、intervention 与 counterfactual 对数据 passport 的要求逐级增强。
| 数据层 | 已验证规模信号 | 任务制造方式 | 主要价值 | 关键缺口 |
|---|---|---|---|---|
| Curated real · TabDPT | 123 tables · 32M rows · 2B cells | 随机 target、classification/regression 转换、列子采样、retrieval | 真实 domain、missingness 与 feature distributions | 来源表有限；unit/time/overlap passport 不齐 |
| Web-scale · T4 | 4.2M tables · 2.1B rows · ~100B tokens | 过滤、序列化、随机 target、few-shot packing | schema 与语义长尾 | task intent、provenance、duplication、contamination |
| Standard suites | CC18 72 classification · CTR23 35 regression | source target + standardized supervised protocol | 稳定可比的小中型 evidence | 反复复用；主要是 row-IID |
| BeyondArena / Data Foundry | 1,128 collected → 142 curated | IID、grouped、temporal、text、scale 与 dimensionality | 让 split semantics 真正改变结论 | 仍是 observational；因果字段不完整 |
| P11 causal foundry | 先做小型 paired worlds | repeated units、context shift、MNAR、marked intervention、equivalent SCM pairs | 区分 observational learner 与 causal query learner | 必须排除 toy-only 与 extra-information advantage |
领域地图 · 学到什么，决定能问什么
“Foundation model for structured data” 至少包含三条互相靠近、但证据不能直接混用的研究线。
| 研究家族 | 代表工作 | 主要学习对象 | 原生 query | 不能自动推出 |
|---|---|---|---|---|
| Predictive TFM | TabPFN, TabICL, MITRA, TabFM | 跨任务复用的学习算法与 synthetic prior | p(y* | x*, context table) | 下游 causal structure 已被识别 |
| Semantic transfer | CARTE, TARTE, TabSTAR | column、string、text 与 world knowledge | 带开放语义的预测 | semantic context 等于 causal context |
| Observational joint model | LimiX | 一族 masked conditionals / joint distribution | prediction, imputation, generation | joint density 决定 intervention 与 counterfactual |
| Relational / systemic | Relational TFMs 与 systemic-grounding proposals | links、time、schema 与 operational context | database-level entity / link / target prediction | unit、regime、selection 已有明确语义 |
DiscoSCM audit · 六个不能略过的对象问题
审视的目的不是替换现有 TFM，而是确定现有证据支持到哪一层，以及下一层需要怎样的数据与 query contract。
1 · Row ≠ Unit
多次就诊、交易或告警可能属于同一 unit。随机 row split 会泄漏稳定个体状态，也无法测试 unseen-unit generalization。
2 · Dataset context ≠ Causal context
prompt 中的 context rows 不等于会改变机制的 environment / regime；后者需要被观察、推断或显式建模。
3 · Masking ≠ Missingness mechanism
随机 cell mask 不代表 selection、measurement policy 或 MNAR。现实缺失可能依赖 unit、context、treatment 与潜在 outcome。
4 · Prediction ≠ Generation
准确预测一个 target，不保证 joint sample 一致；生成 plausible row，也不保证是同一 unit 在另一 action 下的结果。
5 · Conditioning ≠ Intervention
固定某个 cell 后补全其他变量通常是 conditioning。没有 intervention semantics 时，不能把它自动解释为 do(X=x)。
6 · Plausible worlds ≠ Counterfactual contract
individual counterfactual 必须说明 unit state、context 和 event noise 如何跨世界保持或改变。
最小边界例子 · 同一张观测表，不同的干预世界
设二元 X、Y 在观测中永远相等。世界 A 为 X → Y；世界 B 为 Y → X。两者给出相同的 P(X,Y)，任何只恢复 observational joint 的模型都无法区分。但执行 do(X=0) 后，世界 A 强制 Y=0，世界 B 中 Y 仍按自身外生机制变化。恢复 joint distribution 并不识别 causal direction。
下一步不是先造大模型，而是做一个能区分对象的 benchmark
生成重复 unit、变化 context、独立 event noise、依赖 unit/context/outcome 的 missingness， 并加入 observationally equivalent 但 intervention response 不同的 SCM pairs。
Generalization cells
IID row split、unseen-unit grouped split、future-context temporal split 必须分开报告。
Missingness cells
比较 random masking 与 unit/context-dependent MNAR，而不是只做随机插补。
Causal-query cells
分别评估 observational prediction、intervention-conditioned prediction 与 paired counterfactual consistency。
Kill signal
如果这套审视不改变模型分类、split、training query 或实证结论，P11 就应停在 reader asset。
Primary-source entrances
当前稿采用 targeted primary-source review；来源表记录 author claim、evidence 与我们允许的安全表述。