让零向量真正不参与计算
From Attention Masks to Inert Zero-Vector Tokens: OAttention and O-Closure for Token Dynamics
让 token 的状态携带参与程度,构造零向量可作为零元素的 OAttention,并通过 O-Closure 将这一性质延伸到完整 OTransformer。
这篇回答什么,连接到哪里?
Attention mask 控制“谁可以与谁交互”;这篇进一步研究,一个 token 能否因自身状态而不参与计算。它为可组合的零状态语义提供结构基础,也成为后续可学习参与研究的起点。
文中的算子与迁移实验支持各自限定范围内的性质;不据此声称任意模型无损转换或普遍预测收益。