Independent research · QKVP-OTransformer

OTransformer with Learnable Participation

一个状态保存着信息，并不意味着它在每一层都需要参与通信或改变自身。我们研究能否让模型学习这种参与程度，同时让内容继续沿 residual 保留。

P02核心与原生应用已实现尚无正式训练收益本地投影 · 未部署

内容保存在 h，参与从 Ph 读出

QK 已经学习同一个 source 对不同 receiver 的相对匹配。P 增加的是从 token 自身状态读取参与特征的自由度：participation 指参与行为，presence 指具体读出系数。Attention 逐 head 使用参与表示，FFN 使用另一个独立的全宽读出；residual 始终保留内容路径。

p=Ph,a(h)= ‖Ph‖2τ+‖Ph‖2 ,τ>0

独立读出，共用函数

Attention 与 FFN 各自持有一个全宽矩阵，从单位阵初始化。前者与 Q/K/V 一起分头，每头控制供源与 receiver 更新；后者读取 attention 后的原始 residual，整体门控 FFN。函数形式相同，参数不共享。

从连续几何到精确保证

满秩但非各向同性的 P 已能对不同方向给出不同参与强度；不必先学出非零核。若状态同时位于两个读出的核中，则进一步保证完整 block 不供源、不更新、内容原样保留。这是充分保证，不是所有不动点的全集。

一个构造例子

若两个读出都只读二维状态的第一维，第一维为零、第二维不同的两个状态可以分别保留。后续层若读取第二维，它们又可参与。这是构造性质，不是训练已经学得这种行为的证据。

读出不等于实际影响

source presence 进入归一化质量，receiver presence 在各 head 输出混合前门控消息。实际 value 系数还包含 QK 分数、合法 masks 与固定正参考质量；向量更新还取决于 V 和输出投影。小 raw gate 不能单独证明安全删源或计算加速。

首先回答三个问题

  1. 完整 forward 与 gradient 能否兑现内容保持、零质量供源删除和空源语义？
  2. 可学习全矩阵 P 相对固定 identity 和可学习标量，是否带来超出整体尺度变化的收益？
  3. 同一批状态能否减少当层实际影响，同时在后续读取中保留可用内容？增加的计算成本是多少？

英文稿与当前主提案共同使用 head-wise、独立 P_A/P_F 的正质量合同。Gaussian 研究比较 identity、每模块独立 scalar 与 full matrix，共用内容初始化；scalar/full 用于进一步区分尺度和方向自由度。原数据参考实验只有 identity/full，不能据此单独完成几何归因。历史 shared-P 论述不定义当前接口。

当前 0.1.0a1 固定正分母质量 eta=1e-8，空真实源与 near-empty 使用同一公式：零质量 source 插入不变，统一复制非零 sources 一般改变结果。正质量验证快照在两版 Python 中各有 134 项包测试及独立构造检查；它不是此后新增 reference runner 的全源码验证。旧 92/115 项和 adapter 迁移回执保留历史身份，所有这些检查都不构成预测收益。

研究路线与执行证据

  1. 完整链结构检查：核心与原生应用已实现，检查隐藏真值擦除、query 合集、Null padding、置换、batch/chunk、梯度和精确恢复。小型数值 fixture 不等于全形状证明。
  2. Gaussian 受控学习：已实现固定 world、配对初始化、微批累积和 validation-only 权重选择。默认协议有 512/64/128 个 train/validation/test world；九组正式训练尚未启动。
  3. 未见 world、mask 与 shape：独立入口只评估完成预算且通过身份校验的冻结权重，不放宽旧 same-table CLI 的数据限制。已完成 4,224 个固定评估 episode 的数据构造检查，不是其模型性能结果。
  4. 真实新表与机制归因：冻结模型真实新表、匹配 split 的 MLP/XGBoost、内容保留和新机制 family 各需独立证据。Gaussian 同族新 world 泛化不能替代这些结论。

另一条原数据参考实验已有 2026-09-10 的 CUDA 与实验性 MPS 启动回执，使用独立冻结的 identity/full 课程。这里记录的是启动，不是实时运行状态、预算完成或比较胜负；其同表留出与 replay 也不是未见表 ICL。英文论文仍为本地候选，尚无正式训练收益的已接受结论；未由本次更新公开软件、提交 arXiv 或部署本页。

P02 独立拥有通用 otransformer 核心与单独分包的原生 tabu-tar 应用。P35 是方法前序，TabU/TAR 是孵化背景；旧外部 adapter 只保留为历史开发对照，不是新应用的运行时依赖。

项目来源与历史入口

2026-09-09，本研究从 TabU 孵化讨论中独立出来，承接 P02 容器。此前的 Structural Mechanism Interface 仅为占位方向，其 RQ02 现已停放。TabU 与 P35 的原代码、实验和 checkpoint 继续保留各自身份。

早期 sprint 还使用过 P02/A2 编号，指 Causal Mind Decision Delta。该历史页面与记录继续保留，和本研究分别阅读。

返回研究问题入口