可学习位置–尺度 Cauchy–KL 核：理论与受控回归研究

P31 · Learnable Location–Scale Cauchy–KL Kernels: Theory and a Controlled Regression Study · 中文同步导读 · governance refresh 2026-07-26

先读：批量端到端核分类打开 English PDF（27 页）下载 arXiv LaTeX 返回论文入口

v3 状态保留；corrected_v4_complete_and_claim_audited

Corrected-v3 继续是 corrected_v3_objective_audit_hold / corrected_v3_complete_artifact_objective_unvalidated。非覆盖 corrected-v4 artifact 使用 exact-full-N-leave-one-out-krr-mse-v1，strict analyzer 通过 315/315 cells、failed=0，SHA-256 为 3a11192da8f51a66807a1020b25bae7367ae388db415257a56efb416fd9ffce0。独立记录在 github-repo/results/corrected-v4-20260726/CLAIM_AUDIT.md；integrity/objective repair 对本 artifact 通过，经验推广仅限 clean k=100 scoped local contrast。

1. 一句话理解

这篇论文把每个输入映射为一组可学习的 Cauchy location \(\mu(x)\) 与 positive scale \(\gamma(x)\)，再对精确 Cauchy KL 做指数化得到合法 kernel。Deep-kernel 训练使用 full-batch global KRR；模型冻结后，推理才可为每个 query 选择 top-\(k\) references 并现场求 local KRR。

真正要分开的三件事

“这个核在数学上合法”“训练目标不会退化”和“这个核在预测上更好”是三个命题。P31 的 row-level kernel mathematics 可以独立成立；v3 没有通过第二个门禁。v4 修复了目标，audit 只接受 clean k=100 下 local-versus-global 的 scope-limited performance contrast；它不建立 Cauchy、scale 或 mechanism 优势。

USL 边界

Canonical P31 是 row_level_kernel_only：每一行 \(x\) 映射到 kernel 参数，不代表已选择一个跨样本持续的 Individual，也不是 unit belief。Candidate U 的状态只是 candidate_u_prospective；其 full 20-seed gate 保持 unrun。它若要成为 USL instantiation，必须另立模型、语义与验证协议。

2. 模型对象

给定输入 \(x\)，perception network 产生隐藏状态 \(z=h_\theta(x)\)。线性 heads 输出 Cauchy 的 location \(\mu(x)\) 与 positive scale \(\gamma(x)\)，并据此定义 product Cauchy–KL kernel。训练完成后，对一个查询 \(x_*\)，local inference 在全部 \(N\) 个冻结 references 中选 top-\(k\) 邻域 \(\mathcal N_k(x_*)\)，然后解局部 KRR：

\begin{aligned} \alpha_{x_*} &=\left(K_{\mathcal N}+k\lambda I_k\right)^{-1}y_{\mathcal N},\\ \widehat f_{\mathrm{local}}(x_*) &=k(x_*,X_{\mathcal N})^\top\alpha_{x_*}, \qquad \mathcal N=\mathcal N_k(x_*). \end{aligned}

实验设计同时比较 RBF、learned-scale Cauchy-KL 与 shared-scale Cauchy；并把 local / global inference、fixed / learned representation 和 shared-backbone direct MLP 放进同一审计矩阵。

四条 predictor 架构（PDF Figure 1）

Direct MLP：感知网络 → linear \(\mu\) head → 标量线性输出层。
Deep RBF：感知网络 → 隐状态 \(z\) → 线性 \(\mu\) head → RBF kernel。
Fixed-scale Deep Cauchy：感知网络 → 线性 \(\mu\) head，并学习一个跨输入、跨维度共享的 positive scale \(\ell\) → product Cauchy–KL kernel。
Deep Cauchy：感知网络 → 隐状态 \(z\) → 并行的线性 \(\mu\) head 与线性 \(\gamma\) head；\(\gamma\) 经 softplus 保证为正，再进入 product Cauchy–KL kernel。

\begin{aligned} z_a(x)&=h_{\theta_a}(x), & \mu_a(x)&=W_{\mu,a}z_a(x)+b_{\mu,a},\\[3pt] \text{Direct MLP:}\quad \widehat y_a(x) &=w_{o,a}^{\top}\mu_a(x)+b_{o,a},\\ \text{Deep RBF:}\quad \mu_a &\longrightarrow k_{\mathrm{RBF}} \longrightarrow \mathrm{KRR},\\ \text{Fixed-scale Deep Cauchy:}\quad (\mu_a,\ell_a) &\longrightarrow k_{\mathrm C} \longrightarrow \mathrm{KRR},\\ \text{Deep Cauchy:}\quad (\mu_a,\gamma_a) &\longrightarrow k_{\mathrm C} \longrightarrow \mathrm{KRR}. \end{aligned}

只有 Deep Cauchy 额外使用 input-dependent scale branch：

\gamma_a(x) =\operatorname{softplus}\!\left(W_{\gamma,a}z_a(x)+b_{\gamma,a}\right) +\varepsilon, \qquad \varepsilon>0.

PDF Figure 2 继续把 deep-kernel 方法共享的 query-local inference 链条画清：kernel similarities → top-k reference subset → local Gram system → ridge solve → prediction，并明确 top-k 切换是离散边界。

常见混淆：训练与推理不是同一套 KRR 计算

corrected-v3 用训练行预测同一批标签并同时学习 ridge lambda，产生 loss-collapse 捷径。Corrected-v4 改为 full-\(N\) exact leave-one-out KRR objective，保存 metadata 明确 objective_uses_own_target=false、full_n_gradient_equivalent=true 与 \(B=N\)。模型冻结后的 query-local top-\(k\) inference 仍是另一个阶段；v4 objective repair 本身不证明 local inference 更好。

Cauchy-KL kernel

每个输入对应一组独立 Cauchy 分量。单变量 Cauchy location–scale family 上的 KL divergence 有闭式：

\begin{aligned} d_{\mathrm C}\!\left((\mu,\gamma),(\mu',\gamma')\right) &=D_{\mathrm{KL}}\!\left( \operatorname{Cauchy}(\mu,\gamma) \,\middle\|\, \operatorname{Cauchy}(\mu',\gamma') \right)\\ &=\log\frac{(\mu-\mu')^2+(\gamma+\gamma')^2} {4\gamma\gamma'}, \qquad \gamma,\gamma'>0. \end{aligned}

product distribution 的 KL 是逐维求和；指数化后得到完整的 product Cauchy–KL kernel：

\begin{aligned} D_{\mathrm C}(x,x') &=\sum_{j=1}^{p} d_{\mathrm C}\!\left( (\mu_j(x),\gamma_j(x)), (\mu_j(x'),\gamma_j(x')) \right),\\ k_{\mathrm C}(x,x') &=\exp\!\left[-\beta D_{\mathrm C}(x,x')\right]\\ &=\prod_{j=1}^{p} \left[ \frac{4\gamma_j(x)\gamma_j(x')} {(\mu_j(x)-\mu_j(x'))^2+ (\gamma_j(x)+\gamma_j(x'))^2} \right]^{\beta}, \qquad \beta>0. \end{aligned}

这里的 Cauchy KL 恰好对称，但“对称”本身还不足以证明 PSD；附录使用 Hilbert embedding 与 Schoenberg 结论补足这一步。

3. 数学附录读图

A–B · FAQ 与符号表

解释 matched architecture、证据版本、训练 / 推理阶段，并统一 regression / classification 记号。

C · Kernel prediction primer

推导 KRR 回归、二分类、多分类、kernel logistic、SVM，以及 one-hot 多右端项闭式训练。

D–E · 精确 KL 与 PSD

用 Poisson identity 推导闭式与 product additivity，再证明 PSD 与 finite-sample strict PD 条件。

F–G · 局部几何与梯度

给出 fixed-scale reduction、pullback metric、kernel derivatives 与 ridge-solution differential。

H · 适定性与成本

正 ridge 保证系统唯一可解，并区分 full-batch training 与 query-local solve 的成本。

I · 协议与验收门禁

记录旧协议缺陷与 architecture contract；v3 objective failure 和 v4 gate 以本页当前治理状态为准。

最容易误写的地方

PSD 对任意 learned parameter map 成立；strict positive definite 不是无条件成立。若两个样本映到完全相同的联合 Cauchy 参数，Gram matrix 会出现重复行。

4. v3 audit hold 与 v4 completed artifact 如何同时成立

审计发现 legacy-v0 有两处会污染结论解释的问题：

先在全数据上标准化、再切 train/validation/test，导致 preprocessing leakage。
validation 期间复用了不一致的旧 KRR solve state，使 early stopping 的评估对象与当前模型状态不匹配。

corrected-v1 修复 preprocessing 与 validation state；corrected-v2 加入 shared-backbone Direct MLP 和 shared-scale Cauchy；corrected-v3 补齐 perception → μ architecture contract，却仍以 same-row fitted residual 训练 deep kernels并让 lambda 可学习。Corrected-v4 已用预声明 full-N exact-LOO objective 完成新的 315-cell matrix。新 artifact 不覆盖旧文件，也不把 v3 的 objective-unvalidated 状态改写成有效。

层次	当前状态	它证明什么
v3 主矩阵	315 / 315 artifact complete	证明运行、结构与 provenance 完整；objective unvalidated，不支持经验 claim。
v4 主矩阵	315 / 315 complete · failed 0	Integrity/objective audit 对本 artifact 通过；state 为 `corrected_v4_complete_and_claim_audited`。
local / global	`scope_limited_exploratory_support`	Clean `k=100`：27/27 lower local means、26/27 exploratory intervals exclude zero、131/135 seed wins；不推广为 “local always wins”。
robustness	screens complete as artifacts	raw key `mixed_units` 保留；人类标签为 100× measurement-scale error。机制解释暂不 claim-eligible。
数学结论	27-page PDF compiled	kernel validity、几何与 regression / classification prediction primer 不依赖数值优越性。

5. 当前能说与不能说

与 objective failure 分离的数学结果

Cauchy KL 闭式与 product additivity；exponentiated product Cauchy-KL kernel 的 PSD；strict PD 的充分条件；局部 pullback geometry；KRR differentiation 与 top-k 非光滑边界。

经验边界

V4 audit 只接受 clean k=100 local performance contrast。Local mechanism 为 not_established；Cauchy-specific 与 input-dependent-scale advantage 为 not_supported；GBR、Direct MLP 等 baseline 方向 mixed，不形成 general deep-kernel claim；deep-versus-fixed 保持 grid_sensitivity_hold。五个 paired seeds、无 multiplicity correction，CI 包含零不建立 equivalence。

legacy-v0、corrected-v2 和 objective-unvalidated corrected-v3 数字都只作 provenance；v4 的 audited scoped result 不 rehabilitate v3。

6. 下一门禁

仅在追求 deep-versus-fixed claim 时做 fixed-grid sensitivity。
仅在追求 local mechanism 或 robustness claim 时做 objective-valid mechanism experiment。
不从现有 v4 clean matrix 推广 Cauchy、scale、mechanism 或 general-baseline claim。
Candidate U 保持 prospective，full 20-seed gate 仍未运行；不得把 row-level kernel 参数改称 Individual 或 unit belief。