P11-MQ-007 · 交换两列或两行，表格大模型的预测应该不变吗？

SOURCE-GROUNDED WORKING ANSWER

版本化一手来源支持的工作答案；仍需端到端 artifact 复核。

Applies to: 固定模型版本、保持 target/context/query 角色，并随对象一起搬移 dtype、mask、codebook、 preprocessing、feasible-set 和 support-eligibility contracts 的合法置换。

一句话答案

不能笼统回答“有”或“没有”。 对行和列要用不同的数学语言，还要区分 core architecture 与 end-to-end pipeline：

行：许多表格基础模型的核心 attention 在 context rows 内、query rows 内具有结构性的 permutation equivariance；交换 query rows 时，输出应跟着交换。可是 preprocessing、类别编码、 subsampling、retrieval、ties、chunking 和浮点归约仍可能让完整管线发生变化。
列：截至本页 evidence cutoff，TabPFN-3、TabFM、LimiX-2M 与 TabICLv2 的单个 estimator 都不是对任意特征列置换严格 invariant。它们普遍通过训练期随机列排列和有限个 permutation ensemble 减少敏感性；这叫鲁棒化，不是数学上的严格不变性。
TabUF：R/S 的共享设计目标是对完整 Unit / Feature objects 做行列置换等变，但 owner source 明确保留了证据边界：single-forward equivariance 与严格 permutation tests 尚未冻结，因此目前只能写“design target”，不能写“已经保证”。

本页是可复核的 working answer，不是性能结论。结论绑定 2026-08-11 前核对的版本与一手来源；模型 release、默认 preprocessing 或 inference ensemble 改变后必须重新审计。

先分清“不变”与“等变”

假设把输入顺序换掉，但仍在询问 同一个语义对象：

一个 query 的标量预测没有行轴或列轴可以跟着移动，因此我们要求预测值不变（invariance）；
一批 query 的输出本身带行轴，交换输入 query rows 后，输出也应做同样交换，这叫等变（equivariance）；
若模型一次输出整张 cell prediction table，理想合同是

$$ F(PXQ^\top;\,\text{transported contracts}) = P\,F(X)\,Q^\top, $$

其中 $P$ 是行置换、$Q$ 是 Feature 置换。跟踪同一个 target cell 从 $(i,j)$ 移到 $(P(i),Q(j))$，它的预测应相同。

这里的 transported contracts 很重要：交换列必须一起搬移 dtype、缺失状态、归一化统计、 categorical codebook、Feature metadata、target locator 和 feasible set；交换行必须一起搬移 cells、 mask、Unit metadata 以及 context/query 身份。S 还必须搬移 support eligibility、measure map 与 exposure contract。只交换数值、却把语义和角色留在旧位置，得到的是一个新任务，不是排序测试。

当前四个代表模型的判断

模型（本页核对对象）	任意交换特征列	在角色分区内交换行	为什么
TabPFN-3（technical report v2；`tabpfn` v8.2.0 family）	单 estimator 不严格 invariant；有限 dataset transformations / ensemble 只降低敏感性	core architecture 在 train/context 内与 test/query 内分别 equivariant	circular 3-feature grouping 改变相邻组合；Feature aggregation 使用 Feature-axis RoPE。Row aggregation 是 set-style，最终 ICL 不使用 row positional identity，但 subsampling 等 wrapper 逻辑仍需端到端检查。
TabFM v1（model v1.0.0；runtime release v1.0.1 family）	单 estimator 不严格 invariant；默认有限随机 feature-shuffle ensemble 不是全排列群平均	numeric-only core 通常在 train/test 分区内 equivariant；默认 categorical pipeline 有额外风险	cyclic feature grouping 与 Feature-axis RoPE 绑定列位置。默认 appearance-based categorical codebook 还可能依赖训练行中类别首次出现顺序。
LimiX-2M / LimiX family（V1.1.0 release family）	单 estimator 不严格 invariant；shuffle ensemble 只提供统计鲁棒性	core sample attention 在 context/query 分区内结构性 equivariant	相邻 feature grouping 和默认 Feature positional embedding 都依赖列顺序；retrieval、subsampling 与 chunking 需要单独审计。
TabICLv2（v2.1.1 release family）	单 estimator 不严格 invariant；Latin feature-shuffle ensemble 仍是有限 ensemble	core dataset-wise ICL 在 train/test 分区内结构性 equivariant	repeated circular groups 使用位置 $(j,j+1,j+3)$，Feature interaction 使用 RoPE；列交换会改变 grouping 与相位。

这个表说的是 机制合同，不是“哪一个模型更好”的排名。core equivariant 也不等于 bitwise exact：同一个求和在 GPU 上因归约顺序产生末位差异，并不一定说明科学对象依赖顺序；相反，列 grouping、绝对位置编码或按 index subsampling 造成的稳定差异，才是结构性顺序依赖。

为什么有限 permutation ensemble 不等于严格不变

如果单模型是 $f$，对若干排列 $g_1,\ldots,g_K$ 做平均：

$$ \bar f_K(X)=\frac{1}{K}\sum_{k=1}^K f(g_kX), $$

它通常会比一次前向更稳定。但除非平均覆盖完整置换群并满足一致的逆变换、角色和随机性合同，有限的 $K$ 个 views 仍可能对另一个未覆盖排列给出不同结果。因此论文应分别报告：

single-forward column deviation；
post-ensemble column deviation。

把二者混成一个“permutation invariant”标签，会把 architecture guarantee 与 inference heuristic 混为一谈。

行交换也有一个合法边界

训练/context rows 持有可见 target，测试/query rows 不持有。以下操作不是同一个问题：

合法：在 context 分区内部，同时交换 row cells 与对应 label；query 预测应不变；
合法：在 query 分区内部交换 rows；输出应以相同 permutation 交换；
不合法：把一个有标签 context row 与无标签 query row 对调，却不搬移其角色；
不合法：把 target y 当成普通 X feature 随意换进去或换出来。

TabPFN、TabFM、LimiX 与 TabICL 的监督接口都把 target 作为 distinguished role。所谓列置换一致性，默认只讨论 predictors 的 Feature columns，或在完整 task compiler 中保持 target role 的对象级搬移。

TabUF 与这个问题的关系

Route R

R 的理想输出是 Unit–Feature cell 的 value-token response law，再在目标 Feature 的 feasible raw values 上做 constrained MAP。只要共享 Row/Column blocks、Unit/Feature query seeds、Feature encoder、 categorical codebook manifest 与 feasible set 都随对象正确搬移，理论上的 cell law 应随 $P,Q$ 等变。 R 没有 support weights；不能用 support 排列稳定性替代对 response law 的检验。

Route S

S 的理想输出是 Feature-conditioned eligible-support-cell empirical distribution。Inducing slots 是内部计算槽，不是外部 row positions 或 population atoms；eligible support 的求和与归一化应与列举顺序无关。只要 Feature-conditioned projection、Unit seeds、support eligibility 与 measure map 都正确 transport， $K_j(i,r)$ 和最终分布应随对象等变。S 不预测 value-token law；不能用 token decoder 的稳定性冒充 S 的 population contract。

当前证据状态

这两段描述的是 desired mathematical contract。当前 owner source 明确说 single-forward equivariance、random categorical token protocol 与严格 permutation tests 尚未冻结。California top-k 历史 artifact 还存在一个具体警告：相同分数的边界 tie 可能由原 row order 打破。因此当前最准确的论文表述是：

TabUF-R/S are designed for object-level row/Feature permutation equivariance, while an end-to-end single-forward permutation gate remains required before this property can be claimed as implementation evidence.

最小验证协议

未来每个冻结 checkpoint 至少运行下面八个 gate，并同时保存原输入、置换、RNG、config、checkpoint hash、输出和 tolerance：

Gate	改什么	正确比较
G1 single-forward columns	固定模型与 RNG，合法置换 Feature objects	同一语义 target 的预测差异
G2 ensemble columns	对同一输入置换运行完整默认 ensemble	ensemble 前后 deviation 分开报告
G3 context rows	在 context 内重排行和 labels	query prediction invariance error
G4 query rows	在 query 内重排行	inverse-permute 后的 equivariance error
G5 target-role transport	同步搬移 target locator / mask / schema	同一 task 的预测差异
G6 typed transport	同步搬移 dtype、normalizer、codebook、missingness	检查 wrapper 是否按 index 泄漏 identity
G7 pipeline stress	开启 subsampling、retrieval、top-k、chunking 与 ties	core-only 与 end-to-end 分栏
G8 numerical contract	CPU/GPU、precision、batch packing	exact equality 与 atol/rtol 结果同时给出

对 stochastic preprocessing，严格测试要复用或按对象 transport RNG manifest，不能在换序后重新采样一个 codebook，再把两次随机差异叫作 permutation error。

会触发重新核对的变化

任一模型发布新的 architecture、default preprocessing、feature ensemble 或 categorical encoder；
官方报告把“orderless”动机升级为可检查的实现合同，或相反暴露新的 position-dependent path；
TabUF 冻结 concrete R/S implementation、permutation manifest 与 checkpoint；
新 artifact 显示 grouping、padding、tie-breaking、cache、chunking 或 retrieval 的顺序依赖；
论文需要把“鲁棒性”升级成“严格不变/等变”的 claim。

Primary sources 与项目上游

TabPFN-3：technical report v2、runtime v8.2.0、audited source snapshot afe1430…、official model card
TabFM：official introduction、runtime v1.0.1、audited source snapshot b15593e…、PyTorch model card
LimiX：LimiX-2M paper、runtime V1.1.0、audited source snapshot 61ede97…
TabICLv2：paper、runtime v2.1.1、audited source snapshot 46b9196…
TabUF owner boundary：hello_agent.md 与 R/S contracts；细粒度 categorical 与 cross-model 边界见 docs/clarification-questions/Q06 与 Q07。这些是 canonical project source paths，不假装成公开网页。

当前仍未解决

四个外部模型在统一软件/硬件/tolerance 下的 single-forward 与 full-pipeline deviation 尚未形成同一份 artifact；
structure-level equivariance 是否在默认 categorical、retrieval、cache 与 large-table paths 中保留，需要版本化实测；
TabUF-R 与 TabUF-S 都还没有冻结 capacity checkpoint 的完整 permutation gate；
对重复值、top-k ties、开放类别与自然缺失，怎样定义最有解释力的 exact / statistical criterion 仍需实验裁决。

因此，这个问题不是“答完了就关闭”，而是一个长期 gate：每次模型版本、pipeline 或论文 claim 变化时都要回来复核。