P11 Tabular Foundation Models
SEMANTIC FEATURES · UNORDERED EVIDENCE · NO ROW-ID LOOKUP

先理解变量，再从 cells 中推断这个 Unit

每列的自然语言描述经 LLM 变成 semantic feature token；每个 cell value 经共享 value encoder 变成 value token。二者构成 evidence，position-free Transformer 与 average pooling 再从一行 无序的 evidence cells 中现场推断 deterministic Unit token，而不是查 row-ID 表。

先看张量怎么流 分清默认与扩展 从 TabFM 资料页开始

P11 current-model technical article · owner-review preview · noindex · not a formal release

01 · WHAT IS THE LEARNED OBJECT?

它学习 feature semantics、Unit abduction 与二者之间的 response law

Feature identity 不再来自某张表里的持久 ID lookup，而来自变量描述 \(s_j\) 的 LLM 表征。 核心计算图在 cells / rows 间复用 value encoder、position-free Transformer、Unit readout、 Unit–feature score function 与 typed heads；新 row 到来时，Unit token 只由其当前可见 evidence 即时计算。哪些参数进一步跨 datasets 共享，仍是尚未冻结的 foundation-model contract。

THE MATHEMATICAL OBJECT \[ \{(s_j,x_{ij}):j\in O_i\},\ s_t \xmapsto{\Theta} u_i,\ q_\Theta(\,\cdot\mid u_i,v_t) \]

当前学习对象是一套跨 feature descriptions 复用的 semantic feature encoder + evidence-to-Unit inference + typed response predictor。这是 tabular foundation-model architecture direction；它还不是已由实验建立的 zero-shot、causal 或完整 joint-distribution 能力。

语言模型提供可跨表复用的 feature semantics，推荐系统提供 Unit–feature response 的结构类比；P11 的选择是： feature token 从描述生成，Unit token 从 evidence abduct。
LM

语言模型

token ID 来自共享 vocabulary；embedding 首先表达 lexical identity，再由上下文更新。

RS

推荐系统

item 常有 identity；user representation 可由 ID、历史行为或两者共同产生，再进入 score function。

P11

本模型

变量描述生成 semantic feature token；cell value 经过共享 encoder；Unit token 不查表，只从无序 evidence set 中生成。

02 · ARTICLE SCOPE

这篇文章只负责把当前模型讲清楚

项目全貌、最新状态和参与入口已经回到 P11 首页；本页保留模型对象、张量流、默认与扩展分支、训练目标、排列不变性和证据边界。

需要先看全局？

返回 P11 项目入口；需要查论文时进入 Related Materials；需要比较模型时进入 Benchmarks。

03 · END-TO-END TENSOR FLOW

先跟着张量走一遍，网络就不神秘了

设 batch size 为 \(B\)，当前最多有 \(K_E\) 个可见 evidence，一次询问 \(Q\) 个 targets，hidden width 为 \(p\)。变量描述可以来自不同 schemas；点击下面六步查看语义、数值和 Unit 表征怎样汇合。

Feature semantics · 先知道当前变量在说什么

变量描述 \(s_j\) 经过共享 LLM，对 description-token axis 做 pooling，再线性投影到 \(p\) 维得到 \(v_j\)。这里不是把不同表格列彼此平均。

Acell → evidencevalue content 与 feature meaning 分开产生，再由尚未冻结的 Fuse 绑定
raw cell valuesXE: B×KE带 dtype / mask
→
shared value encodergval(x,dtype)跨 cells 复用
→
cell-value tokensC: B×KE×p共享 value geometry
+
semantic feature tokensFE: B×KE×pLLM(description) → pool → project
→
evidence tokensE: B×KE×pFuse(V,C)；addition 仅是最小候选
Bevidence → contextual cell tablevalid mask 同时约束 attention 与后续统计
unordered evidenceE: B×KE×p
→
position-free TransformerTθ无 column-position / slot encoding
→
contextual messagesH: B×KE×p每个 cell 已看见同一行其他 evidence
C默认 Unit token 与独立 belief 扩展默认主干在 \(H\) 上做 masked average；belief 不是默认 loss 的附加 head
DEFAULT MODEL

deterministic Unit token

H: B×KE×p→masked average→u: B×p

一个 evidence-abducted Unit token 复用于所有共享同一 evidence set 的 target queries；没有 row-ID lookup。

INDEPENDENT ALTERNATIVE

statistical Unit belief

H: B×KE×p→(M,S): B×p×2→Q(du|E)

若单独选择该建模目标，parameter-free RowStat 的对称统计量可定义 location–scale belief；它不与默认 Unit token 同时强制使用。

DUnit token + semantic target query默认 scorer 回答 Unit 对目标 feature 的 typed response；target truth 只作为训练 label
REFERENCE TARGET PATH

Unit token 与 target feature token 配对

u↑, FQ: B×Q×p→ [u↑;FQ;u↑⊙FQ]: B×Q×3p→ Z: B×Q×p→typed / ragged heads

shared pair MLP 只属于 deterministic reference branch；categorical logits 按 target feature 的 \(K_t\) 分组，并不存在一个虚构的公共 \(K\)。

STATISTICAL-BELIEF TARGET PATH

对 candidate Unit response 做积分

Qstat(du|E), ft→ ∫pt(x|u,ft)Q(du|E)→ qt(x|E)

Gaussian / Cauchy 线性响应给出解析 predictive NLL；一般 binary 或 categorical response 可能需要 quadrature、Monte Carlo 或其他近似，本稿没有冻结。

SEMANTIC FEATURE TOKEN\[v_j=W_v\,\operatorname{Pool}(\operatorname{LLM}(s_j))\in\mathbb R^p\]

Pooling 发生在变量描述的 text-token axis，而不是跨 table columns。LLM backbone 是否冻结仍是实现选择；语义投影 \(W_v\) 属于当前模型。

SHARED VALUE + EVIDENCE FUSION\[c_{ij}=g_{\mathrm{val}}(x_{ij},\operatorname{dtype}_j),\qquad \boxed{e_{ij}=\operatorname{Fuse}(c_{ij},f_j)}\]

value encoder 在 cells 间复用；feature token 由描述生成。直接相加仍只是最小候选，也可以比较 concatenation + projection 或 gated fusion。

POSITION-FREE CONTEXT\[H_i=T_\theta(R_i)\in\mathbb R^{k_i\times p}\]

Transformer 只看一组 evidence tokens 与 valid mask；feature identity 已在 \(e_{ij}\) 中，不需要 column-position encoding。

DEFAULT UNIT TOKEN\[u_i=\operatorname{MaskedAvg}(H_i)=\frac{1}{|O_i|}\sum_{j\in O_i}H_{ij}\in\mathbb R^p\]

对 columns 的对称平均给出严格顺序不变的 Unit token；它是 evidence-derived representation，不是参数表中的 user row。

04 · DEFAULT OBJECT AND AN ALTERNATIVE

默认学一个 Unit token；只有切换建模目标时才输出 Unit belief

两种方案可以共享 contextual cell table \(H_i\)，但它们不是同一模型上的两个必选 heads。v1 默认用 average pooling 输出 deterministic Unit token \(u_i\)；statistical belief 是单独评估的 research alternative。

DEFAULT · DETERMINISTIC

evidence-abducted Unit token \(u_i\)

它压缩当前 Unit 的 visible feature–value evidence；没有 row-ID lookup，也不需要在新 row 到来时新增参数。

\[H_i\xrightarrow{\operatorname{MaskedAvg}}u_i\in\mathbb R^p\]
ALTERNATIVE · DISTRIBUTIONAL

statistical Unit belief \(Q_i\)

若任务需要显式不确定性，可在声明的 candidate Unit space 上用 location–scale family 建模；这不是默认 typed-loss 主干自动附带的 posterior。

\[H_i\xrightarrow{\mathsf{RowStat}}Q_{\theta,\mathrm{stat}}(du\mid\mathcal E_i)\]

固定统计 readout

切换分布族，观察位置与尺度怎样直接由 contextual messages 得到。

LOCATION\[\widehat m_{ia}=\frac{1}{k_i}\sum_{\ell=1}^{k_i}H_i^{(\ell,a)}\]coordinatewise sample mean
SCALE\[\widetilde s_{ia}=\sqrt{\widehat s_{ia}^{\,2}+\varepsilon^2}\]coordinatewise sample std + fixed floor
BELIEF\[Q_i^{\mathrm G}=\bigotimes_{a=1}^{p}\mathcal N(du_a;\widehat m_{ia},\widetilde s_{ia}^{\,2})\]不除以 \(\sqrt{k_i}\)，也没有 count-calibration head

这里的 std 是 contextual cell messages 的经验离散度；它不会因为被命名为 belief scale 就自动成为 calibrated posterior uncertainty。

ALTERNATIVE ONLY

RowStat 没有参数，不等于 belief 分支没有学习；梯度仍可回到 Transformer 与 encoders。但这条说明只适用于选择了 statistical-belief objective 的实验，不应拿来描述默认 Unit-token 模型。

05 · THREE RECONSTRUCTION OBJECTIVES

它们不是三种“差不多的 loss”，而是在学习三种不同对象

“把 masked cell 预测回来”只描述了界面，不足以定义模型。必须继续问：条件里有什么、网络显式输出什么、最终 NLL 对哪个概率对象评分。

OBJECTIVE I · LIMIX REFERENCE

context-conditional masked modeling

Xct, Xte−π→qθ(Xteπ|·)→conditional NLL
learned object
跨 synthetic tasks 的 context-conditioned masked conditionals
边界
论文给出抽象 NLL；公开材料不足以把它改写成一个已披露权重的 per-type 三头 loss。
OBJECTIVE II · DEFAULT

Unit–feature typed response

visible cells→ui + ft→MSE / BCE / CE
learned object
deterministic Unit token 与 numeric、binary、categorical 三类显式 cell-response predictors
为什么选它
表格中记录的每个 cell 都是 typed response；不需要 implicit-feedback negative sampling、confidence weighting 或 BPR。
OBJECTIVE III · APPENDIX ALTERNATIVE

statistically pooled Unit belief

Hi→Qstat(du|Ei)→predictive marginal NLL
learned object
contextual messages、固定 statistical readout，以及由它诱导的 candidate-Unit belief
边界
没有 teacher posterior、variational KL、discrete gate 或 neural belief-parameter head。
target typehead / distributionreference cell loss表格语义
numericfixed-variance Gaussian\(\tfrac12(\widetilde x_{it}-\mu_{it})^2\)一个标准化连续响应，不是 catalog rank
binaryBernoullibinary cross-entropy观测到的 0 是真实 negative；missing 不是 0
categoricalfeature-local softmax over \(K_t\)full-softmax cross-entropy只在该 feature 的类别集合内归一化
GAUSSIAN BELIEF PREDICTIVE\[q_t(x\mid\mathcal E_i)=\int p_t(x\mid u,v_t)Q_i^{\mathrm G}(du)\]

若 response 对 \(u\) 线性且 event noise 为独立 Gaussian，积分得到解析 Gaussian predictive NLL；event-noise scale 与 row-message dispersion 是不同参数。

CAUCHY BELIEF PREDICTIVE\[q_t(x\mid\mathcal E_i)=\int p_t(x\mid u,v_t)Q_i^{\mathrm C}(du)\]

Cauchy 稳定性给出解析 location/scale 组合。Gaussian 与 Cauchy 是完整分支：row statistic、belief family、scale composition 与 likelihood 必须一起更换。

06 · ORDER SHOULD VANISH, IDENTITY SHOULD NOT

列排列不变性，不等于删除列身份

合法 permutation 会一起移动 cell value、对应的 description-derived feature token 与 valid mask；它改变 serialization order，不改变 feature–value evidence。

应当消失：serialization order

把 age、temperature、income 三个完整 evidence tokens 任意重排，默认 Unit token \(u_i\) 与同一 semantic target 的 prediction 都不应改变。

必须保留：feature–value identity

feature token 由对应变量描述生成，并与自己的 value 一起移动。只交换 values、却不交换 descriptions，会得到另一条 evidence，当然可以改变预测。

排列实验室

对完整 pairs 做 permutation 是 symmetry；只交换 values 是语义破坏。

Unit tokenSAMEtarget outputSAME

当前是原始顺序；feature identity 与 value 保持成对绑定。SAME / CHANGED 仅表示结构契约，不是实验结果。

ONE-FORWARD CONTRACT

对任意 evidence permutation matrix \(P\)，无位置 self-attention 给出 equivariance，masked average 给出默认 Unit-token invariance：

\[T_\theta(PR)=P\,T_\theta(R),\qquad u_i(P\mathcal E_i)=u_i(\mathcal E_i).\]statistical-belief alternative 的对称 RowStat 也可满足同样的顺序不变性。这是单次 forward 的结构等式，不依赖 permutation ensemble。
07 · SAME FORWARD, DIFFERENT OUTER LOOP

训练和推理不一样，但不是两套网络

训练时，从一个 table episode 读取变量描述与 rows，把真实 observed target value 移出 evidence，再用 basic typed loss 更新本实验允许训练的模块。推理时，对新 schema 也先用同一 semantic encoder 读取 feature descriptions，再从新 row 的 visible cells 运行同一条 Unit-abduction forward；不创建 feature-ID 或 row-ID 参数。哪些模块跨 datasets 预训练、哪些只作 dataset-local adaptation，仍未冻结。

1 · 造题只遮住 recorded target

自然缺失没有 value label；训练 mask 也不会被伪装成 natural-missing token。

2 · FORWARDdescriptions + visible values → Unit token → typed query

LLM-derived feature tokens 与 value tokens 构成 evidence；Transformer + masked average 产生默认 \(u_i\)。

3 · UPDATE由 basic typed loss 更新允许训练的模块

候选包括 value encoder、semantic projection、Transformer、scorer 与 typed heads；LLM regime 与跨表共享范围仍是待冻结接口。

一次 Unit-abduction pass 能回答多个 target，但有条件。

只有多个 targets 共享同一 evidence set 时，才能复用同一个 \(u_i\)。若要计算每个 leave-one-out conditional \(q_t(X_{it}\mid X_{i,-t})\)，每个 \(t\) 的 evidence 都不同，需要分别做 set-encoder pass（或沿 batch 维展开）。多 target 输出是 conditional marginals，不是 joint imputation distribution。

UNIT SEMANTICS · A NECESSARY BOUNDARY

任务可以把一行声明为 Unit；Unit token 仍只是它的计算表征

当前模型按 owner contract 把一个 sample / row 当作当前 Unit，并由其 evidence 得到 token \(u_i\)。这允许我们讨论“相似 Unit 对相似 features 有相似 responses”，但向量本身不等于 Unit primitive；若要声称同一 Individual 跨 rows 持续，还必须额外给出 linkage 与 observation contract。

REPRESENTATION BOUNDARY

Unit 与 Unit token 不是同一个类型

Unit 是任务声明的对象；\(u_i\in\mathbb R^p\) 是模型从 evidence 计算出的表示。no row-ID lookup 描述的是推理机制，不是否认 Unit 的存在。

RESPONSE-SUFFICIENCY BOUNDARY

为什么 decoder 只写 \(p_t(x\mid u_i,v_t)\)？

这意味着假设 Unit token 与 target feature token 对当前 response 足够。若原 evidence 仍含额外预测信息，scorer 就需要显式读取它；pooling 不会自动证明 sufficiency。

08 · RELATED READING

模型之外，继续读三条最相关的线

完整项目地图留在首页；这里仅保留能直接帮助理解或检验当前架构的相邻入口。

CONCEPTUAL BRIDGE

Dense table vs recommender

理解相似的 response-computation interface 与不同的 observation mechanism。

阅读概念桥 → RELATED MATERIALS

模型论文与代码资料

从 TabPFN、LimiX、TabFM 等资料页进入可核验的一手来源和技术拆解。

进入资料工作台 → BENCHMARKS

评测协议与竞技场

在谈性能前固定数据、任务、预算、validation 与 comparison passport。

打开 Benchmarks →
Historical provenance：

旧模型稿 v0.2 · 15 pages 记录 per-dataset feature-ID 分支，只用于追踪思想演化，不代表当前 v1。

四套旧架构图也是 historical snapshot。

source folder 中的 architecture-figure-candidates/a–d 全部依据 per-dataset v0.2 绘制。它们的视觉语法仍可复用，但 feature-ID table、row-state naming 与默认/alternative 层级不能直接带入 v1。

09 · EVIDENCE BEFORE CLAIM

现在固定的是网络契约，不是论文结论

当前 v1 已经固定

  • 变量描述经 shared LLM + text-token pooling + projection 得到 semantic feature token；
  • shared value encoder 得到 cell-value token，并与 feature token 组成 evidence；
  • position-free Transformer + masked average 得到 deterministic Unit token；
  • Unit–target-feature scorer 使用 numeric MSE、binary BCE、feature-local CE；
  • statistical Unit belief 是独立 alternative，不是默认输出。

当前尚未成立

  • 没有 implementation、benchmark、性能结果或 uncertainty calibration；
  • LLM backbone 冻结/微调策略、description protocol 与跨表参数共享范围尚未冻结；
  • evidence Fuse 与高基数 nominal category 的跨 schema 编码／解码仍未冻结；
  • 尚未用实验建立 unseen-schema zero-shot 或 foundation-model performance；
  • Unit token 不自动证明 persistent-Individual、causal 或 calibrated-belief semantics。

下一关：把跨 schema 的训练对象真正冻结

需要明确 description schema、LLM pooling / tuning 策略、table episode sampler、unseen feature/category protocol 与基础 baselines，再检验 masked reconstruction、column permutation equality 和 semantic-transfer ablation。

Current state: WeHub public owner-review preview · v1 architecture projection · noindex · not a formal release, implementation result, benchmark result or submission.