OWNER DRAFT · ALIGNMENT OPEN
忠实投影 Gong owner worksheet；仍从属于 hello_agent.md 与所选 R/S contract。
Applies to: pretraining task、context/query episode、special tokens 与 frozen inference。怎样从当前表格的有限 context 推断“这个数据集现在是什么问题”，而不是每个表重新训练和调参？
TabUF 的回答（Gong）：
TabUF 像推荐系统/矩阵补全一样，把 table 中的每个 cell value 都视为可预测 target. 表格基础模型本省就是三块，1）表格变成 token table; 2) token table transformer 得到各种 tokens; 3) tokens 构建 value response law/cell-subpopulation. 经过预训练的表格基础模型会有哪些参数呢？
- 最容易想到的参数是 transformer 过程的参数，比如 attention/FFN/inducing slot 参数。
- 最基础的参数是进入 transformer之前的 value encoder 的参数，fourier 变化的参数需要和线性变化参数配合，让其 value token 合适。
- 最特别最核心是可学习 unit/feature special token, 用于生成 unit token, feature token and unit value prediction 的参数。还会有可学习的 mask token, 因为 counterfactual world 中没有 missing value, 所以我们暂时默认不用 missing value token 了， 后续如果有需要再想其他办法，比如将其映射成一个随机数，或者新增一类变量之类。
- 表示 value prediction 的规律参数, 1) value response law 有关的参数可以 biasMF（bias 被 unit/feature token 线性生成, 类似 \(\mu+u_i^Tw^u + f_j^T w^f + u_i^T f_j\), bias 被 user/item embedding 线性生成的 biasMF recSys） 来学习 \(\mu+u_i^Tw^u + f_j^T w^f + u_i^T f_j\), where \(w^u, w^f\) 可是全局学习的参数，也可以是 context-dependent and generative by special tokens，需要后续决策; 2) subpopulation 有关参数，每个 unit token 投影到某个 feature-conditoned subspace, 然后欧式距离直接定义相似性, 从而衍生子总体， 同样也可以考虑全局参数或者 special tokens 方式获得投影矩阵。