Beyond the Average: Distributional Causal Inference under Imperfect Compliance

误会一：LDTE 是“每个人的 treatment effect 分布”

不是。论文估计的是 compliers 两个潜在结果的边际累积分布之差：

它没有识别同一个人的 \(Y(1)-Y(0)\) 分布，也不能告诉我们“有多少人获益、多少人受害”。要得到个体 treatment-effect distribution，还需要未被这篇论文提供的 cross-world coupling 假设。

误会二：LDTE 就是 quantile treatment effect

也不是。LDTE 在同一个 outcome threshold \(y\) 上比较两个 CDF；quantile treatment effect 则在同一个 quantile rank \(\tau\) 上比较两个 quantile。两者都超越均值，但 estimand 不同。

误会三：Oregon 表 1 中的“58% compliance”就是 complier 比例

不能这样读。表 1 中：

• \(Z=0,D=0\) 有 7,596 人；
• \(Z=1,D=1\) 有 2,271 人；
• 总样本为 17,021 人。

所以约 58% 是观测到的 \(Z=D\) 一致率：

但 latent complier share 在 monotonicity 下由 first stage 识别：

这是按表 1 pooled counts 得到的约数；论文的正式识别式还要在 household-size strata 内求 assignment contrast，再按 \(p(s)\) 加权。控制组里遵守“不接受”的 never-takers 也会贡献 \(Z=D\)，所以 58% 不能直接当成 complier 比例。真正进入 LDTE 分母的是 stratum-weighted first stage，而不是观测一致率。

误会四：用了 machine learning，就可以放松 IV 假设

不可以。ML 只用于估计 outcome CDF 与 treatment receipt 的 nuisance functions，并在假设成立时争取更小方差。它不会自动修复 exclusion restriction、monotonicity、随机分配或 instrument relevance 的失败。

这是一篇 estimand、identification、estimation 与 efficiency 都很完整的论文；它最强的价值是把问题问得更细，不是把 IV 的难假设变没。

想象一场“免费体检券”抽签。

• \(Z=1\)：抽中体检券；
• \(Z=0\)：没有抽中；
• \(D=1\)：最后真的去体检；
• \(D=0\)：最后没有去；
• \(Y\)：一年内住院次数。

抽签是随机的，但去不去不是：

直接比较 \(D=1\) 和 \(D=0\) 会混入自选择：主动去体检的人可能本来就更重视健康。随机抽签 \(Z\) 提供了干净变化，但它只改变一部分人的 \(D\)。在 no-defier 假设下，这部分人就是 compliers。

经典 LATE 只问：

本文问的是一整排问题：

例如，在 \(y=0,1,2,\ldots\) 上分别问，治疗让“住院次数不超过这个阈值”的概率改变多少。把这些答案连起来，才看到 outcome mass 从哪些区间移到了哪些区间。

观测行是什么

每个样本单位提供：

其中：

观测量由 consistency / exclusion setup 写成：

这里的 exclusion 意味着 assignment \(Z\) 只能通过 actual receipt \(D\) 影响 \(Y\)，而不是另有直接路径。

识别依赖什么

论文的 Assumption 3.1 与 setup 共同要求：

1. potential outcomes、potential receipt、\(S,X\) 在单位间 i.i.d.；
2. 给定 strata 后，assignment sequence 与潜在对象、\(X\) 独立；
3. 每个 stratum 的实际 assignment proportion 收敛到目标概率 \(\pi_z(s)\in(0,1)\)；
4. monotonicity：\(D(1)\ge D(0)\)，排除 defiers；
5. exclusion / consistency 使 \(Z\) 可作为 \(D\) 的 instrument；
6. first stage 非零，否则 ratio 没有定义。

assignment indicators 本身不必彼此 i.i.d.，因此框架可以容纳 stratified block randomization、biased-coin designs，也把 simple random sampling 作为特例。

核心 estimand

令 \(C=c\) 表示 \(D(1)>D(0)\)。LDTE 是：

Lemma 3.2 把不可观测的 complier counterfactual distributions 转成：

分子是 assignment 对 outcome CDF 的 distributional ITT；分母是 assignment 对 receipt 的 first stage。分母不随 \(y\) 改变，所以曲线形状来自 outcome distribution，而不是 compliance rate 在每个阈值重新变化。

论文还定义 local probability treatment effect：

LDTE 看累计概率，LPTE 看每个 histogram bin 的 probability mass movement。

第一步：把每个阈值变成一个 binary outcome

对每个 \(y\)，把 outcome 改写为：

这样一条完整 CDF 可以被看成许多相关的 binary regression tasks。

第二步：估计两类 nuisance functions

在每个 assignment arm 与 stratum 中估计：

\(\mu_z\) 预测 threshold event，\(\eta_z\) 预测 receipt。它们可以由 logistic regression、random forest、gradient boosting 等 flexible learners 给出。

第三步：构造 orthogonal pseudo-outcomes

对 outcome CDF：

对 treatment receipt：

它们把 inverse-probability residual correction 与 outcome regression 合在一起。最终 estimator 是两个 adjusted assignment contrasts 的 ratio：

第四步：cross-fitting

Algorithm 1 把样本分成 \(L>1\) folds：

1. 在不含当前 fold 的数据上训练 \(\widehat\mu,\widehat\eta\)；
2. 在 held-out fold 上产生 nuisance predictions；
3. 合并所有 out-of-fold predictions；
4. 对每个 \(y\) 计算 ratio。

cross-fitting 的作用是减弱 flexible nuisance learner 对同一批样本过拟合带来的偏差；Neyman orthogonality 让小的 nuisance estimation error 在一阶展开中消失。两者都不是“任何 learner 都会正确”的保证。

先忽略 strata，假设每个 assignment arm 都有 100 人。

在 \(Z=1\) 组，70 人接受 treatment；在 \(Z=0\) 组，20 人接受：

现在看 outcome threshold \(y=0\)。假设：

distributional ITT 是：

所以：

正确解释是：

在 IV assumptions 下，treatment 使 compliers 的 \(P(Y\le0)\) 降低约 10 percentage points。

如果 \(Y\) 是 ED visits，这表示 treatment 后“零次 ED visit”的概率变低，不等于平均 ED visits 增加 0.10，也不等于 10% 的人被治疗伤害。

再看 \(y=1\)。假设：

于是：

区间 \(0<Y\le1\) 的 LPTE 可以由两个累计差相减：

也就是说，treatment 把约 4 percentage points 的 complier probability mass 移进了 \(Y=1\) 这个 bin。这个两步计算正是“看完整分布”比只报平均数更具体的地方。

第一层：识别结果

Lemma 3.2 证明，在随机 assignment、exclusion、monotonicity 与 relevance 等条件下，LDTE 等于 stratum-weighted distributional ITT 除以 first stage。

这是 identification statement：它说明 target parameter 能被 observables 表达；还没有说明有限样本 estimator 一定精确。

第二层：渐近与效率结果

Theorem 5.2 说明，在 Assumptions 3.1 与 5.1 下：

即整条估计曲线统一收敛到一个 Gaussian process，而不只是固定一个 \(y\) 的 scalar CLT。

Theorem 5.3 给出论文 semiparametric model 内的 efficiency bound \(\Omega(y)\)，并证明满足 nuisance regularity conditions 时，regression-adjusted estimator 达到该 bound。

“efficient”在这里是有条件的：比较的是同一 semiparametric model 中 regular、root-\(n\)、asymptotically normal estimators；它不表示对 misspecification、weak IV 或任何有限样本都最优。

第三层：simulation evidence

simulation 不是一个简单 linear toy：

• 4 个 strata，由 \(W\sim U(0,1)\) 划分；
• 20-dimensional \(X\sim N(0,I)\)；
• nonlinear \(b(X,W)\) 与 \(c(X,W)\)；
• sample sizes \(n\in\{500,1000,5000\}\)；
• 在 0.1 到 0.9 quantile locations 上估计；
• 1,000 replications；
• 比较 unadjusted、linear-adjusted 与 gradient-boosting-adjusted estimators；
• adjusted methods 使用 2-fold cross-fitting；
• 用 \(10^6\) reference sample 近似 ground truth。

Figure 2/3 的主结果是：

• 两种 adjustment 通常降低 RMSE 并缩短 95% intervals；
• linear adjustment 的 RMSE reduction 约为 1%–10%；
• ML adjustment 在部分 threshold / sample-size 组合上可达约 50% reduction；
• unadjusted coverage 多数接近 95%；
• ML adjustment 有 0.98–1.00 的 slight over-coverage，说明区间偏保守，而不是“更准确且没有代价”。

第四层：Oregon application

论文研究 Medicaid coverage 对 emergency-department visits 分布的影响：

• \(n=17{,}021\)；
• lottery assignment 按 household size stratify；
• \(Z=0\) 8,506 人，\(Z=1\) 8,515 人；
• actual enrollment \(D=1\) 共 3,181 人；
• 使用 28 个 pre-treatment covariates；
• \(y\in\{0,1,\ldots,15\}\)；
• 正文称 gradient boosting + 5-fold cross-fitting；
• 95% uncertainty 由 500 bootstrap replications 构造。

论文报告 regression adjustment 将 LDTE standard errors 降低约 0.5%–15%，将 LPTE standard errors 多数降低约 3.5%–26.5%，但在 \(y\in\{0,1,2,3\}\) 处有轻微增加。

在 outcome interpretation 上：

• 零次 ED visit 的概率估计下降 9 pp，SE 4.2 pp；
• 五次 ED visits 的概率估计增加约 1.7 pp，SE 0.8 pp，论文称其在 5% level 边缘显著；
• 其余分布位置没有报告显著变化。

第五层：可复现性证据

NeurIPS supplemental archive 确实包含：

• appendix PDF；
• R estimation functions；
• Oregon application R script；
• simulation Python script。

但它不是开箱即跑的完整 reproduction package：

• Oregon script 依赖 archive 中没有附带的数据目录；
• Python script 导入外部 dte_adj module，且当前文件中 locations 的赋值被注释后仍继续使用；
• Appendix 最后一页仍写着 code URL “TBA later”；
• 更重要的是，正文写 Oregon 使用 5-fold cross-fitting，而官方 R script 设置 \(F=2\)。

因此本导读可以确认“作者提供了补充代码与实现形状”，不能声称结果已被独立复现。fold discrepancy 应在正式 reproduction 前先向作者或最终版本核实。

为什么这篇论文值得认真读

第一，它没有把“超越平均数”停留在口号。LDTE 是一个明确、可画成曲线、能转成 probability bins 的 estimand。

第二，它把三个现实难点放进同一框架：

1. imperfect compliance；
2. covariate-adaptive randomization；
3. high-dimensional regression adjustment。

第三，证据链完整：

最需要保持的克制

它估计得更细，并不等于识别得更“个人化”。LDTE 仍是 latent complier subpopulation 的 marginal distribution contrast。它告诉我们 probability mass 如何移动，却没有给出同一 unit 在两个世界中的配对。

此外，Oregon 中 first stage 约 0.16；ratio estimator 的分母并不大。精度改进很有价值，但无法替代 weak-IV sensitivity 或更强的 finite-sample diagnostics。

最后，Oregon 的几个 threshold 被同时查看。即使论文有整条过程的渐近结果，Appendix D 展示的常规 interval 和 bootstrap band 使用每点 normal multiplier；读者不应把“某一点刚过 5%”自动理解成对整条曲线经过 multiplicity correction 的强结论。

1. exclusion restriction 无法由随机化单独保证。 lottery 可能通过获得资格、信息、心理或其他路径影响 outcome，而不只通过 actual enrollment；这需要 substantive argument。
2. monotonicity 排除了 defiers。 如果有人因抽中反而不参保、未抽中反而更积极寻找 coverage，complier interpretation 会改变。
3. target population 是 latent compliers。 不能在数据中逐人标出谁是 complier，也不能把结果直接解释为 population ATE。
4. first stage 过小时 ratio 不稳定。 理论分母含 \(E[D(1)-D(0)]\)，方差按其平方放大；论文没有提供 weak-instrument-robust inference。
5. 只处理 binary assignment 与 binary treatment receipt。 multi-valued、continuous、dosage 与 time-varying treatment 不在本文结果内。
6. LDTE 只识别 marginal CDF contrast。 它不识别 \(Y(1),Y(0)\) 的 joint coupling，因此不等于 individual treatment-effect distribution。
7. finite-sample performance 依赖 nuisance quality。 orthogonality 只消除一阶误差；poor overlap、rare thresholds、bad learners 或小 strata 仍会伤害结果。
8. 效率结论依赖高层 regularity conditions。 Assumption 5.1 要求 nuisance errors 的平衡、function-class complexity 与 moment 条件，并非“用了 cross-fitting 就自动满足”。
9. Oregon 的多阈值解读有 multiplicity 风险。 一个边缘 5% result 不应脱离整条 curve 和预先指定分析计划单独放大。
10. official source 存在 implementation discrepancy。 正文的 5-fold 与 supplemental R script 的 2-fold 不一致，当前不能把 supplement 当作完全冻结的 reproduction capsule。
11. external validity 有限。 Oregon compliers、ED-visit outcome 与 2008 policy context，不自动代表其他地区、其他保险方案或从不受 lottery 影响的人。
12. 静态分布不等于动态机制。 方法描述 receipt 对一个 outcome distribution 的 local effect，不记录 uptake process、time-varying adherence 或机制变化。

• 增加 weak-first-stage designs，并报告 Anderson–Rubin-style 或其他 weak-IV-robust bands；
• 在 defier contamination 下做 sensitivity analysis，量化 monotonicity 小幅失败会如何改变 LDTE；
• 将 simultaneous confidence bands 与 pointwise intervals 明确分开，并控制整条 curve 的 family-wise error；
• 在 rare discrete outcomes、mixed outcomes、小 strata 与 extreme assignment proportions 下系统测试 coverage；
• 与 local QTE、unadjusted distributional IV、alternative nuisance learners 做更完整 calibration / runtime comparison；
• 冻结一个真正 self-contained reproduction package，补齐 data-fetch instructions、dependency versions、defined script variables，并解决 5-fold / 2-fold discrepancy；
• 扩展到 multi-valued / continuous receipt 与 longitudinal compliance；
• 若想谈个体获益分布，显式加入并检验 cross-world rank/coupling assumptions，而不是从两条 marginal CDF 直接推断。

它可以支持：

• imperfect compliance 不迫使研究者只报告 LATE；
• 在标准 IV assumptions 下，可以识别 compliers 的 whole-distribution contrast；
• covariate-adaptive randomization 与 flexible regression adjustment 可以被纳入同一 LDTE estimator；
• 在论文条件下，estimator 有 uniform Gaussian limit 并达到 semiparametric efficiency bound；
• 在作者 simulation 中，flexible adjustment 可明显改善 RMSE 与 interval length；
• Oregon application 显示 treatment effect 可能表现为 outcome probability mass 在若干 bins 间移动。

它不能支持：

• 58% 是 Oregon 的 complier share；
• 论文识别了每个人的 treatment effect；
• ML 消除了 IV assumptions；
• regression adjustment 在每个 threshold 都必然降低 standard error；
• 某一个边缘显著 bin 证明了广泛的 distributional harm；
• Oregon 结果可以无条件外推到所有 uninsured adults；
• supplemental code 已被独立运行并完全复现正文。

对当前 10-paper portfolio，这篇论文首先是一条 baseline guardrail：

不能再用“传统 causal inference 只看平均数”作为 novelty claim。

如果研究问题确实是“在 imperfect compliance 下，compliers 的 outcome distribution 如何移动”，LDTE 就是非常强且贴切的 baseline artifact。

当前研究若还要引入 mechanism、unit identity、noise 或 regime，必须说明它改变了什么：

• 是不是要回答 individual \(Y(1)-Y(0)\)，而不只是两条 marginal CDF？
• 是不是 compliance process 本身会随 context / time 改变？
• 是不是需要把 uptake friction、treatment dosage 或 target-world transfer 写进 evidence record？
• 新对象是否改变 estimand、识别条件、decision 或可证伪 prediction？

如果这些问题没有改变最终 query 或 decision，就不应把一个更复杂的 SCM record 写成 LDTE 的 replacement。更好的关系是：

1. Section 3 与 Figure 1：先锁定 \(Z,D,Y,S,X\) 的角色，以及 monotonicity / CAR setup。
2. Lemma 3.2 / Equation (3)：这是全文最重要的一页；确认 LDTE 是 distributional ITT 除以 first stage。
3. Section 4 / Equations (4)–(8) / Algorithm 1：理解 nuisance functions、AIPW-like pseudo-outcomes 与 cross-fitting。
4. Theorems 5.2 与 5.3：把“uniform asymptotic distribution”和“efficiency bound”分开读。
5. Figures 2–3：看 RMSE、interval length、coverage，而不只看“up to 50%”。
6. Table 1 与 Figure 4：先手算 Oregon first stage，再读 LDTE/LPTE curve。
7. Conclusion 的 limitations paragraph：作者明确承认 IV assumptions、binary treatment 与 nuisance quality 边界。
8. Technical Appendix C.1、C.2、C.3 与 D：分别核识别证明、uniform limit、efficiency proof 与 interval construction。
9. Supplemental R/Python scripts：只在准备 reproduction 时读，并先处理 dependency、data path 与 fold discrepancy。

• Official NeurIPS proceedings: https://papers.nips.cc/paper_files/paper/2025/hash/62fe03e97f70b2d004d684d707d990eb-Abstract-Conference.html
• Official paper PDF: https://papers.nips.cc/paper_files/paper/2025/file/62fe03e97f70b2d004d684d707d990eb-Paper-Conference.pdf
• Official supplemental archive, including appendix and code: https://papers.nips.cc/paper_files/paper/2025/file/62fe03e97f70b2d004d684d707d990eb-Supplemental-Conference.zip
• Verification boundary: official paper, appendix, and scripts inspected; estimator and Oregon analysis not executed; reported numerical results are source-reported unless explicitly hand-calculated above.