若 gradient 局部 Lipschitz,affine approximation 的误差至多按距离平方增长;弯曲进入更高阶部分。
30 秒的三层故事
固定候选 \(u\) 后,模型对 predictor \(X\) 是 affine;换一个 \(u\),slope 和 intercept 一起变化。
row encoder 输出 \(Q_\phi(du\mid O)\),其 location/scale 被传播到 response law;这不是 selector posterior。
本页的 \(U,Q_\phi\) 与 “Unit-Abductive” 只保留为 historical v0.3 terminology。当前 executable object 仅是 row/evidence-conditioned latent response-modulation law:没有 Population selector,没有 world conditional 与 learner approximation contract,不支持 \(Q_\phi\approx P(U\mid\mathcal O)\),也没有 repeated-individual linkage 或 exact USL-01 claim。因此不能作为 USL-01 exact selector reduction。Branch A / B 的 owner decision 仍然 pending;本页不预先选择任何分支。
P32 historical v0.3 geometry · scientific type unresolved
一条全局非线性的预测曲线,可以被看作许多局部直线组成的斜率场。当前 v0.3 encoder 根据每条 row 的 evidence 产生 latent-coordinate location/scale law,再把 candidate coordinate 映射为 slope 与 intercept;它不回答“哪一个 Population individual”。
先用一句人话抓住主线:选择线性,并不是假设世界是线性的。几何上,affine tangent 是光滑预测面的最小一阶描述;概率上,affine propagation 又恰好保留 symmetric-stable law 的闭包。当前 v0.3 把复杂性放在 row evidence 如何改变 latent-coordinate law,以及该 coordinate 如何改变 coefficient field 上。
若 gradient 局部 Lipschitz,affine approximation 的误差至多按距离平方增长;弯曲进入更高阶部分。
固定候选 \(u\) 后,模型对 predictor \(X\) 是 affine;换一个 \(u\),slope 和 intercept 一起变化。
row encoder 输出 \(Q_\phi(du\mid O)\),其 location/scale 被传播到 response law;这不是 selector posterior。
先把 \(f_\star(x)=\operatorname{Loc}(Y\mid X=x)\) 看作我们想预测的 conditional location surface。最简单的非线性例子 \(f_\star(x)=x^2\) 已足够说明问题:函数没有改变,但不同 anchor \(x_0\) 处的局部 slope 会变成 \(2x_0\)。
绿色窗口只帮助观察“局部”;它不是训练时的 top-k 邻域。
数学上,带 intercept 的直线应称为 affine。论文标题沿用更常见的 “local linear” 说法,但正文在需要精确时写 coordinate-conditioned affine view。若 surface 有 kink、断点,切平面可能不唯一或不存在;高曲率处的有效局部范围也会更小。
标准微积分先给出 tangent coefficient field:
这一步才是“全局非线性可被看作随 anchor 改变的局部 slope/intercept field”的严格含义。接下来是 historical v0.3 的建模选择,不是 Taylor theorem 自动推出的结论:用低维 latent coordinate \(u\in\mathbb R^d\) 对这组 coefficients 做结构化近似。
在同一个 view 内,slope 不再随 \(x\) 改变;这是可解释、可审计的局部规则。
\(B\) 是当前 latent gauge 中 unit coordinate 改变 frozen-view slope 的速率;它不是已经识别的物理机制。
如果只取标量 \(u=x_0\),slope \(2u\) 对 unit 是 affine,但 intercept \(-u^2\) 不是。这诚实展示了模型限制。把 coordinate lift 成 \(u(x_0)=(x_0,x_0^2)^\top\),再取 \(w(u)=2u_1\)、\(b(u)=-u_2\),才得到
latent coordinate 保存构造当前切线所需的视角坐标;固定 coordinate 时是一条直线,随着 evidence 改变 coordinate law 时沿着曲线移动。它是教学例子,不是 universal representation theorem,更不是 individual-selector example。
上面的一阶 Taylor 只解释“为什么每个局部视角先选 affine”。对潜在 smooth surface \(F(x,u)\) 在 \((x_0,u_0)\) 做 centered expansion,令 \(h=x-x_0\)、\(k=u-u_0\),则 mixed second-order term 是
取 \(B=H_{xu,0}\),这个 mixed term 展开后正对应 \(x^\top Bu\) 与配套的 affine main effects。pure-\(x\) curvature、pure-\(u\) curvature 和三阶项留在 remainder 中。两种 Taylor 的职责不同:第一种解释 affine view,第二种解释为什么加入 mixed bilinear interaction。
Historical v0.3 希望它们近似对预测有用的 local tangent field,但这需要训练目标与数据支持。有限维 map \(w(u)=\beta+Bu\) 把 slopes 限制在 affine subspace \(\beta+\operatorname{col}(B)\) 中;latent basis 还可重参数化,所以 \(B\) 本身不是 invariant truth。
当前 encoder 不只输出一个 point coordinate,而是由 row evidence \(O=o\) 参数化一个 distribution-valued computational object:
point coordinate 只给一个代表位置;当前 law 还保留 scale,并把这份 dispersion 传播到 slope、intercept 与最终 response distribution。
P32 不检索 top-\(k\) 邻居,也不必须选择唯一 prototype。非退化 coordinate law 可以同时覆盖多个 candidate views。
更准确地说,当前 \(Q_\phi\) 是 row/evidence-conditioned latent response-modulation law。Predictive NLL 没有给它 Population-selector target;因此本页不把它称为 learner unit belief、calibrated posterior、epistemic uncertainty,也不说它识别了真实 individual。
当前 P32 数据和代码没有 individual key、\(i\mapsto u_i\)、persistent referent 或 repeated-individual linkage。它只能建立 row/evidence-conditioned latent response-modulation law,不能建立 Population selector、\(Q_\phi\approx P(U\mid\mathcal O)\) 或 same-individual semantics。旧比较材料保留在 source provenance 中,但不会作为当前科学解释显示。
查看 compatibility-hold stub →Unit Selection Variable 是 ontology-level object:它回答哪一个 unit / unit state,以及其 response-relevant representation。Sample 是 observed event / record:它携带 evidence,却不是 unit identity。learner 从 sample evidence 形成关于 \(U\) 的 belief;只有 candidate \(u\) 进入 \(u\mapsto(w(u),b(u))\) 后,才出现 local coefficient view。sample selection 则是后续、独立的 across-row inclusion / weighting 问题。
打开专页:从 Unit ontology 到 sample evidence、belief 与 simple law →
先分清被观察的 unit 与 observation record,再形成关于 unit 的 belief;\(u\mapsto(w(u),b(u))\) 之后才得到 local coefficient-view belief。
| 问题 | Sample selection | Unit selection |
|---|---|---|
| 随机对象 | sample-inclusion indicator \(R\),或 row weight \(\omega_i\) | ontology-level Unit Selection Variable \(U\) 与 learner kernel \(Q_\phi(du\mid o)\) |
| 核心问题 | 哪些 records 被观察,或跨 rows 怎样加权 | sample evidence 支持哪一个 unit / representation |
| 直接改变什么 | 训练数据组成、empirical risk 与 population aggregate | 先形成 unit belief;slope/intercept belief 是 downstream pushforward |
| 与 IPW 的关系 | 若另有 target/source、overlap 与 density-ratio assumptions,可产生 importance weights | \(Q_\phi\) 本身不是 propensity score,也不是 sample weight |
| P32 当前 baseline | 普通 supervised sample average,即 \(\omega_i=1\) | 每个 row 都有 evidence-conditioned unit belief |
内层 integral是在同一个 row 内边缘化 unit belief;外层 weighted sum是在 rows 之间做 sample weighting。P32 的 stable model让内层 integral 闭式;它不会因此自动解决外层的 target-population mismatch。
对 unit-space 中任意集合 \(A\),observed source aggregate 是
若未来引入 target population,令 \(W=(O,X)\)。只有在 \(P_{\mathrm{t}}(Y\mid W)=P_{\mathrm{s}}(Y\mid W)\) 且 \(P_{\mathrm{t}}^W\ll P_{\mathrm{s}}^W\) 时,才可定义 density ratio \(r(w)=dP_{\mathrm{t}}^W/dP_{\mathrm{s}}^W\),并写出
这里 \(r(W)\) 改变不同 rows 在 aggregate 中的份量;\(Q_\phi(A\mid O)\) 仍描述每个 row 内的 candidate-view belief。若 weight 来自 inverse inclusion probability,可称 IPW;若直接估计 \(p_{\mathrm{t}}(w)/p_{\mathrm{s}}(w)\),更准确的名称是 importance / density-ratio weighting。
不能直接把两个 aggregate unit densities 的比值当成 row weight,因为当前 \(Q_\phi\) 没有被证明是真实 latent posterior,也没有建立 unit-level transport model。Cauchy 的 bounded residual score同样不会消除 extreme sample weights;weight tails、effective sample size 与 clipping bias 仍需单独检查。这只是 importance-weighted prediction 的候选扩展,不是当前 P32 baseline,也不自动构成 causal transport identification。
固定 \(u\) 时,\(\eta(x,u)\) 对 \(x\) 是 affine;但 row evidence 改变时,latent-coordinate law 的 location 与 scale 也会改变。于是不同 rows 会从同一个共享 coefficient field 读出不同 views。
如果应用中 \(O=X\),那么 \(x\mapsto\mu_\phi(x)\) 通常由 nonlinear evidence network 学习;它和 bilinear interaction 共同让整体 predictive location 随 \(x\) 非线性变化。一个固定不变的 latent-coordinate law,并不会仅凭“source aggregate 很复杂”就自动产生任意 conditional nonlinearity。
一处是 row evidence 如何改变 latent-coordinate location/scale law;另一处是共享矩阵 \(B\) 如何把 candidate coordinate 转成 slope。response head 明确展示 coordinate values 怎样诱导 affine rules;它不说明哪些 Population individuals 更可信。
令 \(c(x)=a+B^\top x\)。在给定 \(x,o\) 后,UALBM 可写成
若给定 \(o\) 后各 latent coordinates 条件独立,event noise 与它们独立,并满足
那么 \(c_j(x)U_j\) 的 location 为 \(c_j(x)\mu_j(o)\),scale 为 \(\lvert c_j(x)\rvert\gamma_j(o)\)。独立 Cauchy variables 之和仍是 Cauchy,因此
在这些独立 stable assumptions 下,belief 对 response 的传播可直接用 location 与 scale 计算;predictive likelihood 也保持闭式。
Cauchy 没有有限 mean 或 variance。本页只使用 location、scale 与 central quantiles;不会把 scale 误称为 standard deviation。
“closed-form” 只指 marginal predictive law 与 likelihood。网络和 bilinear parameters 仍通过 numerical maximum likelihood 训练;任意 nonlinear decoder 或任意 dependent latent coordinates 也不自动享有上面的 closure。
令 representative location path 为 \(\bar u(x)=\mu_\phi(O(x))\)。这里的 \(\mu_\phi\) 是 Cauchy location,不是 expectation。再定义 \(J_{\bar u}(x)=\partial\bar u(x)/\partial x^\top\in\mathbb R^{d\times p}\)。
问题是:“把 evidence / representative view 暂时固定,只让 predictor 移动,predictive location 怎样变化?”这是正文中 local slope 的首要定义。
问题是:“predictor 改变以后,evidence 又让 representative view 改变了多少?”它是 total derivative 的第二部分。
若 \(O=O(x)\),marginal predictive location 为 \(m(x)=\alpha_0+\beta^\top x+c(x)^\top\bar u(x)\)。chain rule 给出
若 evidence \(O=o\) 固定,第二项不存在。这个式子只描述 response location;完整 predictive distribution 还会因为 \(\gamma_\phi(O(x))\) 与 \(s(x,O(x))\) 改变。也因此,\(w(\bar u(x))\) 一般不等于 composed predictor 的 total gradient。
| 层次 | 本页支持的准确表述 | 不能升级成的表述 |
|---|---|---|
| Taylor | 光滑 surface 在中心附近有 affine first-order approximation,并可在更强正则条件下控制二阶误差。 | Taylor expansion 是 P32 的新发现,或局部近似自动等于全局精确表示。 |
| Historical \(U\) | 当前只许可把它读作进入 response head 的 latent modulation coordinate;它在下游索引共享的 slope/intercept field。 | 它已经回答 which Population individual,或拥有同一 individual 的 repeated-row semantics。 |
| Bilinear | \(w(u),b(u)\) 对 \(u\) affine 等价于 \(x^\top Bu\) interaction。 | 任何非线性函数都精确等于一个有限维 bilinear polynomial。 |
| Historical \(Q_\phi\) | row/evidence-conditioned latent-coordinate law;coefficient-view law 是其 downstream pushforward。 | 它是 Population selector、learner unit belief、calibrated posterior,或证明 learner 找到了真实 individual。 |
| Stable law | 在指定的独立 symmetric-stable assumptions 下,predictive law 与 likelihood 可解析边缘化。 | 网络参数有 closed-form estimator,或任意 mixture 都仍是一条 Cauchy law。 |
| 任务 | 这是 factual conditional prediction 的 inductive bias。 | treatment、counterfactual、intervention identification 或 mechanism recovery。 |
Taylor theorem 与 stable closure 都是标准数学。现有 executable object 值得检验的是:row-conditioned latent-coordinate law + bilinear coefficient field + stable closed-form marginalization。在 owner 决定 Branch A / B 前,本页不把它包装成 unit-selector 范式。
全局非线性可以被理解为一个不断变化的局部 coefficient field。Historical v0.3 根据 row evidence 产生 candidate latent coordinates 上的 location/scale law,再由 coordinate 诱导 affine slope 与 intercept;在 stable assumptions 下,这份 dispersion 可被解析传播到完整 predictive distribution。当前结论到此为止,不包含 individual selection。