表格基础模型的数据集，到底是什么？
这里不把 dataset 当成一个 CSV 文件名，而把它拆成 physical table、task compiler、episode sampler、 split、metric、corpus role 与 provenance。只有拆到这一层，才知道模型究竟见过什么、学到什么， 以及一个 benchmark 排名能支持到什么结论。
先统一原子：一张表不等于一个任务
对 TFM，更准确的训练对象是
(source table, target, visible view, mask, context/query sampler, split, metric)。
同一张物理表可以制造很多 target、feature view 与 episode；反过来，同一个名字也可能指向不同版本、
preprocessing、target 甚至 derivative dataset。
Table count
衡量 schema/source 数量，不等于 task diversity。
Task count
由 target、mask、split 与 metric 定义；可能共享同一物理来源。
Episode count
一次 context/query 或 train/test realization，是训练时真正被 sample 的对象。
Rows / cells / tokens
分别衡量观测量和序列化成本，不能相互替代，也不直接代表 domain coverage。
训练语料总览：三个 task factory + 两个 real-table corpora
关键比较对象是 task compiler 与 evidence boundary，而不是只看规模数字。
| Corpus | Physical source | Task compiler | Scale signal | 模型可吸收对象 | 主要风险 |
|---|---|---|---|---|---|
| TabPFN prior | programmable synthetic SCM/DAG | sample DAG/functions/noise → choose feature/target nodes → mask query labels | ≈100M synthetic datasets/tasks per training | posterior-predictive learning algorithm | prior support 决定能力；SCM prior ≠ downstream causal identification |
| MITRA | SCM + GBDT/RF/DT/ExtraTrees generators | on-the-fly prior mixture → labeled context/query prediction | continually sampled; mixture quality > finite table count | multiple inductive regimes | benchmark-guided prior selection 与 causal query 仍需分开 |
| LimiX CCMM | hierarchical synthetic datasets | context/query split + cell/column/block masks, ratio 0.1–0.4 | continually generated conditional episodes | many observational conditionals; imputation/generation | mask ≠ selection mechanism；conditioning ≠ intervention |
| TabDPT | 123 CC-BY OpenML tables | random target/type + drop/shuffle columns + nearest-row retrieval + context/query split | 32M rows · 2B cells | real marginals, dependencies, missingness and domains | physical/derivative overlap；row/unit/time metadata uneven |
| T4 / TABULA-8B | 627M TabLib raw tables → GitHub/Common Crawl | 3-level filtering + eligible target selection + text serialization + row-causal packing | 4.2M tables · 2.1B rows · 100B tokens · ≈2TB | schema/semantic long tail and open-vocabulary labels | PII/provenance/duplication；公开 benchmark schema overlap |
TabDPT：123 张表如何变成组合数量的任务
每个 training step 先随机决定 classification 或 regression，再选一个有足够 unique values 的 column 作为 pseudo-target；classification target 被分箱，regression target 被标准化。其余 columns 会被 shuffle/drop， 然后在 feature space 里检索相近 rows，并随机切为 context 与 query。于是任务规模不再随 column count 线性增长， 而是由 target × feature view × retrieval neighborhood × context/query partition 共同决定。
Published preprocessing
LabelEncoder；z-score；|value| > 10 clip；标准化后 missing→0，即 mean imputation。
Backbone contract
公开设置最多 10 classes / 100 features，context 与 query length 各 1024；超宽表可 PCA。
Retrieval semantics
FAISS 在预处理后的 raw feature space 找 top-K 邻居；这是局部 context，不是 causal environment。
Contamination audit
比较 name、hash、shape、target/feature moments、skew/kurtosis 和 feature-target coefficient，再人工审查。
T4：web tables 的核心不是抓取，而是过滤、task selection 和去污染
原始 TabLib 包含 627M tables / 70TB。T4 在 table、column、row 三层移除非表格内容、PII、code、重复、 非英文和 missing-heavy sources，最终保留 4.2M unique tables。eligible targets 还要排除 numeric column name、 single-valued column 和每行唯一的非数值列；之后才随机选 target 并序列化为 name/value text。
另外，T4 虽有约 100B tokens，TABULA-8B 实际训练只读取约 8B。available corpus size、sampled training tokens 和 effective episodes 必须分别报告。
评测数据不是列表，而是 protocol stack
dataset version、split、inner validation、HPO budget、outer repeats、ensemble 与 aggregation 都会改变排名。
| Suite | Selection | Task / split | Evaluation protocol | 看得到什么 | 看不到什么 |
|---|---|---|---|---|---|
| OpenML-CC18 / CTR23 | 72 classification + 35 regression；500–100K rows，≤5K features | OpenML task = dataset + target + standardized IID split | reproducible suite-defined tasks | small/medium IID predictive comparison | group/time/large/text/deployment shift 被设计性排除 |
| TabZilla | 176 → 36 hard datasets；19 algorithms in source study | predominantly IID static suite | raw + mean-imputed reference versions；其余 preprocessing 留给 model | hardness、irregularity、model-family difference | living version drift 和 non-IID semantics |
| TabArena v0.1 | 1053 → 51 manually curated real IID tasks | classification/regression；500–250K train samples | 8-fold inner CV；200 HPO configs；3 repeats or 10×3-fold；Elo | model/tuning/ensemble/version interaction | v0.1 明确不覆盖 grouped/temporal/tiny/large |
| BeyondArena | 1128 → 142 curated datasets；11 models | IID / grouped / temporal；100–1M samples；text/high-cardinality | Data Foundry unified metadata + tuned/ensembled traditional baselines | non-IID、scale、dimensionality 改变 TFM ranking | intervention provenance 与 cross-world counterfactual |
为什么 TabArena 与 BeyondArena 得出不同的“领域印象”
TabArena v0.1 的 focus statement 主动选择真实 IID、small-to-medium classification/regression；这正是当前 TFM 的优势区。BeyondArena 再把 grouped、temporal、100K–1M samples、>100 features、text/high-cardinality 加回来，TFM 的“普适优势”就不再成立。两者并不矛盾：它们在估计不同的 task distribution。
最低可用 Dataset Passport
没有这些字段，只能说“在某张表上跑过”，不能审计 foundation coverage。
| Layer | 必须记录的技术字段 | 不记录会混淆什么 |
|---|---|---|
| Identity | stable id/version、original URL、license、citation、access method | 同名不同版本；无法复现或合法复用 |
| Lineage | raw source、derivatives、aliases、file/schema hashes、benchmark reuse | pretraining/test overlap 与重复 evidence |
| Row semantics | row entity、stable unit、repeats、time/site/context keys | row-IID 泄漏、unseen-unit 与 future-context 混淆 |
| Task compiler | target、visible view、encoder、mask、context/query sampler | 把同表衍生任务当独立数据 |
| Observation process | measurement、missingness、selection、sampling、policy history | random mask 被误解为真实 missingness |
| Split & evaluation | IID/group/time/site/intervention split、seeds、metric、HPO、repeats、ensemble | model ranking 无法解释或复现 |
| Corpus role | pretrain/retrieval/tune/validate/curate/final-test | 数据角色重叠与 information leakage |
| Query support | prediction/density/imputation/generation/transport/intervention/counterfactual | observational capability 被升级成 causal claim |
P11 Atlas 当前覆盖与下一版
v0.2 已覆盖
11 个 corpus/protocol entries；task compiler、preprocessing、split/HPO、contamination 与 query boundary。
仍然缺失
逐 dataset stable ids、targets、licenses、row/unit/time semantics、cross-suite aliases 与 model-specific exposure。
v0.3 数据工作
展开 CC18、CTR23、TabArena、BeyondArena；建立 physical/schema/target 三层 overlap graph。
实验门
选择同时支持 IID/grouped/temporal 的 tasks，跑 matched-information cell；ranking 不变则不升级成新 benchmark paper。