Formal causal objects / treatment effects · 逐篇深读 · 面向读者的解释

Conformal Prediction for Causal Effects of Continuous Treatments

普通 conformal prediction 用“过去的预测残差”校准未来 interval;但一旦把连续 treatment 改成某个新剂量,treatment assignment distribution 也变了,过去残差与 intervention 后的 test point 不再 exchangeable。 这篇论文的办法是: 先把 intervention 写成 observational propensity 到 interventional propensity 的 tilting / shift ; 用这个 shift 重新校准 non-conformity scores; propensity 未知时,再把 density-estimation error 的 multiplicative bound (公式见正文) 放进优化; 得到指定 hard 或 soft intervention 下,new unit potential outcome 的 finite-sample marginal prediction int…

01 · Misconception repair

先拆掉最容易产生的误会

误会一:先预测 \(Y\),再给 regression 加一个普通 uncertainty interval 就够了

不够。observational calibration rows 来自:

\[A\sim\pi(a\mid X),\]

但 intervention 后可能是固定 \(A=a^*\),或来自新 policy \(\tilde\pi(a\mid X)\)。这会改变 \((X,A)\) distribution,也会改变 residual score 的 rank distribution。

普通 split conformal 的 coverage 依赖 calibration score 与 test score exchangeable;intervention 正是把这条 bridge 改掉了。

误会二:论文给出了平均 dose–response curve 的 confidence band

不是。main target 是 new unit 的 potential outcome random variable:

\[Y_{n+1}(a^*)\]

或:

\[Y_{n+1}(A^*(X_{n+1})).\]

它不是 \(E[Y(a)]\) 的 sampling confidence interval,也不是同时覆盖所有 \(a\in\mathcal A\) 的 curve band。

Supplement A 可以把两个 potential-outcome intervals 组合成 ITE interval,但这仍不自动变成 CATE uncertainty、population dose-response uncertainty 或 uniform-in-dose guarantee。

误会三:“finite-sample”表示没有 causal assumptions

完全不是。finite-sample 只说 coverage theorem 不靠 \(n\to\infty\);它仍要求:

  • positivity / overlap;
  • consistency;
  • unconfoundedness;
  • observational rows exchangeable;
  • test covariate \(X_{n+1}\) 来自同一 marginal \(P_X\)
  • dose-response 足够 Hölder-smooth;
  • tilting function 位于指定 finite-dimensional class;
  • unknown-propensity case 的 multiplicative error bound \(M\) 真能覆盖 \(\hat\pi/\pi\)
  • optimization 找到 theorem 所需的 optimum。

这是 distribution-free-style calibration,不是 assumption-free causal identification。

误会四:“unknown propensity”表示不必了解 treatment policy

也不是。unknown scenario 仍要:

  1. 从数据估计 generalized propensity density \(\hat\pi(a\mid x)\)
  2. 由 practitioner 给出一个有效的 \(M\),使:
\[\frac{1}{M} \le \frac{\hat\pi(a\mid x)}{\pi(a\mid x)} \le M.\]

\(M\) 设得太小,coverage theorem 的 Assumption 1 不成立;设得很大,interval 会变宽。它更像 sensitivity parameter,不是从有限 observational data 自动知道的常数。

误会五:把 continuous dose 分箱后就能直接用 binary-treatment CP

分箱会改变 causal estimand:\(A=4.9\)\(A=5.1\) 被切到两组,并不等于比较两个明确定义的 interventions;同一 bin 内又包含很多 doses。

论文 appendix 的 controlled comparison 中,binary-treatment method 在分箱后虽也有 coverage guarantee,但 interval 平均宽度为 3.2876,而本文 continuous method 为 0.6255。这个例子支持“不应把连续问题粗暴离散化”,但不是所有数据上都固定有这个倍数优势。

误会六:MIMIC figure 证明了真实 counterfactual coverage

不能。MIMIC-III 中每位病人只观测一个 factual trajectory,其他 ventilation durations 下的 blood pressure 没有 ground truth。

Figure 7 只能展示:论文方法在 rare high-treatment regions 画出更宽 intervals。它是 plausibility / applicability evidence,不是 empirical coverage validation。

02 · Objective verdict

先给一个客观判决

证据层级 论文实际给出的东西 还不能推出
Causal target hard / soft intervention 下的 potential outcome average dose-response 或完整 individual curve 已识别
Formal guarantee 在 stated assumptions 下,coverage \(\ge1-\alpha\) 任意 hidden confounding / support violation 下仍覆盖
Coverage type marginal over new units / \(X\) population 每个具体 patient profile 都有 \(1-\alpha\) conditional coverage
Unknown propensity \(\hat\pi\) 加 multiplicative error bound \(M\) 不估 propensity、不校准 \(M\) 也有效
Algorithm optimization + binary search 找 \(S^*\) 任意 numerical solver / tolerance 都保持 exact theorem
Synthetic evidence known counterfactual 下多数 settings 接近或超过 target coverage 所有 cells 都达到 nominal coverage
Semi-synthetic evidence TCGA covariates 上可跑 high-dimensional controlled study 真实 cancer treatment effect 被验证
MIMIC evidence real EHR 上 interval 形状随 support 变化 真实 patient-level counterfactual coverage 已测量

客观判决是:

论文对 continuous-treatment causal conformal prediction 给出了清楚、值得重视的 formal route;最大的贡献是把 intervention-induced propensity shift 与 propensity-estimation error 放进 calibration。但“finite-sample coverage”必须与 causal assumptions、marginal target、\(M\) 的有效性和 exact optimization 一起读,empirical tables 也存在少数低于 nominal coverage 的 cells。

03 · Mental model

一个直观世界

想象一位医生过去按某种习惯开药:年轻病人多拿低剂量,重症病人多拿高剂量。模型在这些历史处方上预测 outcome,并记下每次 residual。

现在问:

如果把一位新病人的剂量固定到 30 mg,outcome 会落在哪个区间?

普通 conformal 做法像从整个历史 residual 盒子里等概率抽票。但 30 mg intervention 把病人送到了历史 policy 中很少出现的区域:

  • 低剂量 residual 很多,却不代表 30 mg 下的 error;
  • 30 mg 附近 residual 很少,却应更有影响;
  • 若历史 prescription policy 都不知道,还要估计“哪些 residual 本来有多大机会出现”。

论文做的事像给 residual 重新发票:

observational treatment policy
        ↓ intervention-specific tilt
shift-aware calibration scores
        ↓ propensity-error envelope
threshold S-star
        ↓
potential-outcome interval

票的权重不是为了让 interval 好看,而是为了让 calibration population 对齐 intervention population。

不过,最后的 coverage 是“从未来所有类似病人里随机抽一个,长期至少覆盖多少”,不是“这位病人的 interval 有 90% posterior probability”。

04 · Real setup

真实问题与实验设定

Observed row 与 data split

observational data 是 exchangeable rows:

\[(X_i,A_i,Y_i), \qquad i=1,\ldots,n,\]

其中:

  • \(X\):observed pre-treatment confounders;
  • \(A\in\mathcal A\):continuous treatment / dose;
  • \(Y\):observed factual outcome;
  • \(\pi(a\mid x)\):generalized propensity density。

数据分成:

\[D_T=\{(X_i,A_i,Y_i)\}_{i=1}^{m}\]

用于训练任意 outcome predictor \(\phi(X,A)\),以及:

\[D_C=\{(X_i,A_i,Y_i)\}_{i=m+1}^{n}\]

用于 conformal calibration。new \(X_{n+1}\) 独立来自同一 \(P_X\)

两类 intervention,不要混写

Hard intervention 固定 treatment:

\[do(A=a^*), \qquad Y(a^*).\]

interventional treatment density 是 Dirac delta \(\delta_{a^*}(a)\)

Soft intervention 改 treatment policy:

\[A^*(x)\sim\tilde\pi(a\mid x), \qquad Y(A^*(x)).\]

main-text known-propensity scenario 使用 additive policy shift \(A^*=A+\Delta A\);unknown-propensity scenario 重点处理 fixed-dose hard intervention。Supplement A 还给 fixed-kernel approximation 与 unknown-propensity soft shift variants。

论文的 target coverage

\(\diamond\in\{a^*,A^*(X_{n+1})\}\),目标是构造:

\[C(X_{n+1},\diamond)\]

使:

\[P\!\left( Y_{n+1}(\diamond) \in C(X_{n+1},\diamond) \right) \ge 1-\alpha.\]

概率对 new unit、outcome noise 与相应 sampling process 取 marginal。Appendix E.2 明说:interval 为具体 \(X\) 构造,但 guarantee 在完整 \(X\)-population 上 marginal,不是 exact conditional coverage:

\[P(Y(a^*)\in C\mid X=x) \ge1-\alpha\]

对每个 \(x\) 并未被证明。

Main estimand 与常见相邻对象

object 本文是否直接覆盖 区别
individual potential outcome \(Y_i(a)\) main target random outcome under specified dose
soft-policy potential outcome \(Y_i(A^*(X_i))\) known-policy main target policy-induced random treatment
ITE \(Y_i(a)-Y_i(0)\) supplement 组合得到 两个 potential-outcome intervals 的 conservative sum
CATE \(E[Y(a)-Y(0)\mid X=x]\) 非 main theorem target conditional mean effect
average dose-response \(E[Y(a)]\) 非 main theorem target population mean curve
simultaneous band over all doses 没有 pointwise coverage 不等于 uniform curve coverage

Causal 与 statistical assumptions

论文列出 continuous-treatment causal identification 的三项标准 assumptions:

  1. Consistency:实际收到 \(A_i\) 时,\(Y_i=Y_i(A_i)\)
  2. Unconfoundedness:给定 observed \(X\),treatment assignment 与 potential outcomes 无未控制关联;
  3. Positivity:target doses 在相关 \(X\) profiles 下有 observational density support。

另外需要:

  • dose-response curve 足够 Hölder-smooth,允许用 dose neighborhood 信息;
  • score solver 对 row ordering invariant;
  • shift class \(\mathcal F\) 包含真实 tilting function;
  • unknown propensity 的 Assumption 1 与 global optimization conditions 成立。

三个 empirical worlds

  1. Two fully synthetic datasets:counterfactual outcomes 可见,能测 coverage;
  2. TCGA semi-synthetic:4,000 个真实 gene-expression features,但 treatment / outcome 由作者模拟;
  3. MIMIC-III illustration:真实 EHR covariates / ventilation record,但 counterfactual truth 不可见,且 outcome 做了增强 treatment-dependence 的 transformation。

三者的证据强度不同,不能统一叫“real-world validation”。

05 · Method walkthrough

方法或任务流程

第一步:训练任意 outcome predictor

论文允许任意:

\[\phi:\mathcal X\times\mathcal A\to\mathbb R.\]

实验用 3-layer、width 16、ReLU 的 MLP,MC-dropout rate 0.1,Adam 训练 300 epochs,batch size 32。

“model-agnostic”指 conformal layer 不限定 \(\phi\) 的模型类型,不表示 propensity modeling、causal assumptions 或 optimizer 都消失。

第二步:在 calibration set 算 non-conformity score

主文使用 absolute residual:

\[S_i = s(X_i,A_i,Y_i) = |Y_i-\phi(X_i,A_i)|.\]

若 test score threshold 是 \(S^*\),interval 就是:

\[C(X_{n+1},a^*) = [\phi(X_{n+1},a^*)-S^*, \phi(X_{n+1},a^*)+S^*].\]

第三步:把 intervention 写成 propensity tilt

论文用非负 \(f\) 表示 observational 到 interventional assignment shift:

\[\tilde\pi(a\mid x) = \frac{f(a,x)}{E_P[f(A,X)]} \pi(a\mid x).\]

标准 conformal calibration 不看这个 shift;本文让 quantile function 属于包含 \(f\) 的 finite-dimensional class \(\mathcal F\)

第四步:用 augmented quantile calibration

对未知 test score 先 impute 一个候选 \(S\),把 calibration scores 与它一起放进 pinball loss:

\[\ell_\alpha(\theta,S) = \bigl(\alpha-\mathbf1\{\theta-S<0\}\bigr)(\theta-S).\]

然后在 \(g\in\mathcal F\) 上求 distribution-shift-calibrated \((1-\alpha)\)-quantile。Lemma 4.1 把这个 construction 与 shifted-distribution marginal coverage 连接起来。

Scenario 1:known propensity + soft policy shift

对 paper convention 下的 \(A^*=A+\Delta A\),function class 写成:

\[\mathcal F = \left\{ \theta \frac{\pi(a+\Delta A\mid x)}{\pi(a\mid x)} \,\middle|\, \theta>0 \right\}.\]

Theorem 4.2 把 primal quantile problem 转成 convex dual problem。令 \(S^*\) 是满足 test dual variable \(\eta^S_{n+1}<1-\alpha\) 的最大 imputed score,则:

\[P\!\left( Y(A^*(X_{n+1})) \in C(X_{n+1},A^*(X_{n+1})) \right) \ge1-\alpha.\]

这是 finite-sample theorem,不是 asymptotic normal approximation。

Scenario 2:estimated propensity + hard intervention

Assumption 1 要求:

\[c_{a_i} = \frac{\hat\pi(a_i\mid x_i)}{\pi(a_i\mid x_i)} \in \left[\frac1M,M\right].\]

由于 hard intervention 的 \(\delta_{a^*}\) 不连续,论文用 Gaussian-kernel limit 表示:

\[\delta_{a^*}(a) = \lim_{\sigma\to0} \frac1{\sqrt{2\pi}\sigma} \exp\!\left( -\frac{(a-a^*)^2}{2\sigma^2} \right).\]

对应 tilting class 的 element 是:

\[f(a,x) = \frac{c_a} {\sqrt{2\pi}\sigma\,\hat\pi(a\mid x)} \exp\!\left( -\frac{(a-a^*)^2}{2\sigma^2} \right), \qquad c_a\in[1/M,M].\]

optimization 同时搜索 \(\sigma,c_a\) 与 quantile slack variables。Lemma 4.4 声称问题满足 LICQ 且为 Type-I invex,因此 KKT conditions 对 global optimum 也充分。

Theorem 4.5 令 \(S^*\) 为满足 \(v^S_{n+1}>0\) 的最大 imputed score,得到:

\[P\!\left( Y(a^*) \in C(X_{n+1},a^*) \right) \ge1-\alpha.\]

第五步:binary search 找 \(S^*\)

Algorithm 1 / 2 的外层流程是:

  1. 从 calibration residual range 初始化 \(S_{\rm low},S_{\rm up}\)
  2. 调 optimization solver,检查 theorem 对应的 \(v_{n+1}\)\(\eta_{n+1}\) condition;
  3. 必要时扩大 bracket;
  4. binary search,直到 \(S_{\rm up}-S_{\rm low}\le\varepsilon\)
  5. 输出 \(\{y:S_{n+1}(y)\le S^*\}\)

复杂度写成:

\[O\!\left( \log\frac{S_{\rm up}-S_{\rm low}}{\varepsilon} \;\sigma_s(n_c) \right),\]

其中 \(\sigma_s(n_c)\) 是 chosen solver 对 calibration size \(n_c\) 的成本。known case 用 MOSEK;hard non-convex case 用 IPOPT。

第六步:从 potential outcomes 组合 ITE interval

Supplement Lemma A.1 定义:

\[\gamma_i(a)=Y_i(a)-Y_i(0).\]

分别以 significance \(\alpha/2\) 得到 thresholds \(S_a^*,S_0^*\),则:

\[C_\gamma(X_i,a) = \Bigl[ \phi(X_i,a)-\phi(X_i,0)-S_a^*-S_0^*, \;\phi(X_i,a)-\phi(X_i,0)+S_a^*+S_0^* \Bigr]\]

覆盖至少 \(1-\alpha\)。它靠 union-bound-style argument,不要求两个 potential-outcome errors independent,但往往较保守。

06 · Worked example

自己走一遍最小例子

先看 ordinary calibration 为什么会错位

下面不是复刻 paper 的 non-convex solver,而是一个能手算的 shift-calibration preview。

假设 calibration set 有 10 个 absolute residuals:

historical dose region residuals
common low / middle doses 0.1, 0.1, 0.2, 0.2, 0.2, 0.3, 0.3, 0.4
rare doses near target \(a^*=9\) 1.2, 1.5

\(\alpha=0.2\)。普通 split conformal 常取 order statistic:

\[k=\left\lceil(n_c+1)(1-\alpha)\right\rceil = \lceil11\times0.8\rceil =9.\]

第 9 小 residual 是 1.2,所以普通 threshold 为:

\[S_{\rm vanilla}=1.2.\]

但若 target intervention 几乎只把我们送到 9 附近,relevant residuals 是 \(1.2,1.5\)。threshold 1.2 在这个 tiny target region 只覆盖其中 1 个:直觉上的 local coverage 是 50%,不是 80%。

shift-aware calibration 会让 9 附近 samples 获得更大 influence。若简化到 target mass 全落在这两项上,80% quantile 要升到:

\[S_{\rm shifted}=1.5.\]

论文实际不是这样手工 reweight 两项,而是用 tilting class、augmented quantile optimization 与 imputed test score 找 \(S^*\);toy 只展示为什么 intervention shift 会把 threshold 推高。

再把 threshold 变成 potential-outcome interval

若 outcome model 在 \(a^*=9\) 的 prediction 是:

\[\phi(x,9)=4.0,\]

则 shift-aware interval 是:

\[C(x,9) = [4.0-1.5,4.0+1.5] = [2.5,5.5].\]

这个区间宽,并不代表 method 失败;它诚实反映 target dose 周围 support 弱、历史 error 大。

最后手算 ITE interval

假设 no-treatment prediction 与 \(\alpha/2\)-level threshold 为:

\[\phi(x,0)=2.5, \qquad S_0^*=0.5,\]

而 treatment-side threshold 仍取 \(S_9^*=1.5\)。point ITE prediction 是:

\[4.0-2.5=1.5.\]

但 Lemma A.1 interval 为:

\[[1.5-(1.5+0.5),\ 1.5+(1.5+0.5)] = [-0.5,3.5].\]

point estimate 是正的,interval 却跨过 0。合理结论是“effect sign 尚不确定”,而不是“预计改善 1.5,所以应该治疗”。

07 · Results and evidence

关键结果与证据层级

Synthetic DGP:两个不同的 assignment / response worlds

Appendix G 的 Dataset 1:

\[X\sim\operatorname{Uniform}\{1,2,3,4\},\]
\[A\sim p\operatorname{Uniform}[0,5X) + (1-p)\operatorname{Uniform}[5X,40], \qquad p\sim\operatorname{Bernoulli}(0.3),\]
\[Y \sim \sin\!\left[ \frac\pi6(0.1A-0.5X) \right] + \mathcal N(0,0.1).\]

Dataset 2:

\[A\sim\mathcal N(5X,10),\]
\[Y \sim \sin\!\left[ \frac\pi2(0.1A-0.1X) \right] + \mathcal N(0,0.1).\]

paper reports 2,000 train、1,000 calibration、1,000 test samples per intervention;soft shifts \(\Delta\in\{1,5,10\}\),hard interventions 重点是 \(a^*=7X,10X\),coverage 在 50 runs 上汇总。

Hard-intervention Table 1:大多达到 target,但不是每格都达到

表中每格是 Ours / MC dropout:

Dataset / hard intervention \(\alpha=.05\), target .95 \(\alpha=.10\), target .90 \(\alpha=.20\), target .80
D1, \(a^*=7X\) 1.00 / 0.19 0.90 / 0.13 0.83 / 0.11
D1, \(a^*=10X\) 1.00 / 0.28 0.91 / 0.23 0.88 / 0.11
D2, \(a^*=7X\) 1.00 / 0.02 0.94 / 0.02 0.85 / 0.02
D2, \(a^*=10X\) 1.00 / 0.08 0.84 / 0.07 0.83 / 0.07

本文 method 在 11/12 cells 达到或超过 nominal target;Dataset 2、\(10X\)\(\alpha=.1\) 的 0.84 明确低于 0.90。

这点比主文一句“achieve intended coverage”更值得读者记住。Appendix G.4 解释 \(10X\) 在 Dataset 2 的 normal propensity tail 里,overlap 较弱;这与 interval 应变宽的直觉一致,却也说明 empirical finite-run implementation 不能被写成每格必然达标。

Soft shifts:boxplots 支持总体趋势,不是 pointwise perfect

Figures 4–5 在 \(\Delta=1,5,10\) 和三个 \(\alpha\) 上比较 50-run coverage distributions:

  • Ours 大体聚在 red nominal line 附近;
  • MC dropout 明显偏低且 variability 大;
  • ensemble 更严重 undercoverage;
  • Dataset 2、large shift 的 dispersion 更大。

GP 只表达 model/aleatoric uncertainty,不校准 intervention shift。论文举例:Dataset 2、\(\Delta=1\) 时,其 coverage 在 \(\alpha=.05,.1,.2\) 下只有 0.125、0.125、0.0833,average width 0.1293。

Coverage 是靠更宽 interval 买来的

Appendix Table 5 的 mean width:

shift Dataset 1 Ours / MC Dataset 2 Ours / MC
\(\Delta=1\) 0.3647 / 0.1938 0.4051 / 0.2897
\(\Delta=5\) 0.4024 / 0.1653 0.4610 / 0.3036
\(\Delta=10\) 0.4301 / 0.1639 0.6711 / 0.3235

Dataset 2、\(\Delta=10\) 的 Ours width standard deviation 甚至为 0.8520。更宽不是免费胜利;它是在 coverage 与 informativeness 之间诚实付出的成本。

naive vanilla CP 完全不处理 propensity shift,appendix reports 它在所有 tested shifts / confidence levels 都没有 valid interval,平均 width 仅 0.0003。这个结果直观地验证 intervention shift 不能被忽略。

TCGA semi-synthetic:high-dimensional,但 nominal deviations 也可见

TCGA 使用 9,659 patients、variance 最大的 4,000 genes 作 \(X\);treatment 与 outcome 由 10 个高方差 covariates 的 sum 人工生成,所以 counterfactual truth 可知。

Ours 的 coverage mean:

soft shift target .95 target .90 target .80
\(\Delta=.5\) 0.9680 0.8920 0.8040
\(\Delta=1.0\) 0.9733 0.9500 0.7667
\(\Delta=1.5\) 0.9400 0.8920 0.8200

9 cells 中 5 个达到 nominal,4 个略低或明显低于 nominal;各格 standard deviations 约 0.0324–0.0741,因此 finite replicates 的 variation 需要一起读。论文原文说“consistently achieves desired coverage”,表格本身更适合解读为“大体接近,存在 undercoverage cells”。

Ours interval width 约 0.0642–0.1017,而 outcome range 为 2.0,显示这些 intervals 在此 semi-synthetic DGP 中并非只有 coverage、完全没 information。

MIMIC:真实数据只提供形状证据

final MIMIC cohort 为 14,719 samples,split 为 60% train / 10% validation / 20% calibration / 10% test。8 个 confounders 是:

  • heart rate;
  • sodium;
  • blood pressure;
  • glucose;
  • hematocrit;
  • respiratory rate;
  • age;
  • gender。

treatment 是 mechanical ventilation duration,outcome 是 treatment 后 blood pressure;preprocessing 还把 outcome transform 得更依赖 treatment、较少依赖 pre-treatment blood pressure。

Figure 7 只画 2 male + 2 female、young / old exemplar profiles。Ours 在 mid-high / high ventilation durations 变宽,MC dropout 仍较窄。这符合 low-support uncertainty intuition,但没有真实 \(Y_i(a)\) 供 coverage scoring。

Runtime 与 released implementation

Appendix reports standard desktop CPU 上平均 16.43 seconds;MIMIC 的 CP interval 约是 MC interval 的 10 倍。所有 experiments 报告运行在 AMD Ryzen 7 PRO 6850U、8 cores、32 GB RAM。

released repository 提供:

  • synthetic generator;
  • MIMIC preprocessing;
  • MLP / conditional normalizing flow;
  • known / unknown propensity interval code;
  • plotting scripts;
  • CVXPY / PYOMO 路径,并要求外部安装 MOSEK、IPOPT。

但它不能被直接写成“完整 reproduction 已就绪”,原因见后面的 source audit。

把证据分成五层

层级 evidence object strongest warranted claim
Causal identification consistency / unconfoundedness / positivity observational distribution 可连接到 target potential outcome,若 assumptions 为真
Formal calibration Lemma 4.1、Theorem 4.2/4.5 specified shift class 下 finite-sample marginal coverage
Optimization invex/KKT argument、Algorithms 1/2 theorem threshold 可用 repeated solver + search 计算
Counterfactual empirical synthetic + TCGA semi-synthetic tested DGPs 中 coverage 多数接近 nominal、baselines 明显 under-cover
Real-data behavior MIMIC Figure 7 interval width 对 rare-dose region 有合理反应

real-data coverage evidence 这一格仍是空的,这是 fundamental problem of causal inference 的结果,不是画一张 figure 就能补上。

08 · Objective review

综合客观评价

方法真正推进了什么

它没有把 continuous treatment 当成“binary CP 多几个类别”。核心技术路线是:

\[\text{intervention} \rightarrow \text{propensity shift} \rightarrow \text{shift-indexed quantile class} \rightarrow \text{finite-sample marginal interval}.\]

尤其 unknown-propensity case 把 estimation error 变成 \([1/M,M]\) envelope:error 增大时 interval 变宽,而不是直接把 nominal coverage 降低。这是适合风险决策的设计哲学。

理论保证强,但 target 比“个体可靠性”窄

对任意 finite \(n\) 的 marginal coverage 很有价值;然而 personalized medicine 最想问的往往是:

\[P(Y(a^*)\in C\mid X=x)\]

对眼前这个 patient 是否可靠。paper theorem 没有给 exact conditional coverage。少数 hard-to-treat profiles 仍可能系统 under-cover,只要 population average 被其他 profiles 抵消。

因此宣传语应是“patient-specific intervals with population-marginal validity”,而不是“每位 patient 都有 exact coverage”。

Baseline advantage 有一部分来自比较对象本来不保证 shift coverage

MC dropout、ensemble 与 GP 的目标不是 intervention-shift finite-sample coverage;它们 under-cover 不意外。vanilla CP 也被明知错误地应用在 shifted distribution。

这些 baselines 能证明:

predictive uncertainty 不能代替 causal-shift calibration。

它们不能单独证明:

本文 intervals 已经在 informativeness、conditional coverage 与 computation 上优于所有 viable causal UQ methods。

Table-level reading 比 prose verdict 更诚实

synthetic hard Table 1 有 0.84 < 0.90;TCGA 有 4/9 cells 低于 nominal。它们可能来自 finite-replicate variability、tail support、solver approximation或 assumption / implementation mismatch,但不应被“consistently achieves”抹平。

更合理的判词是:

empirical results strongly improve coverage over chosen baselines and usually approach the nominal level, with visible exceptions that deserve stress testing.

Primary code audit 暴露出 paper–implementation gap

inspected release 中有两处尤其需要在 reproduction 前澄清:

  1. paper Eq. 15/19 的 hard-intervention kernel 是
\[\frac1\sigma \exp\!\left[-\frac{(a-a^*)^2}{2\sigma^2}\right],\]

而 released prediction_intervals.py 实现形如:

\[\frac1\sigma \exp\!\left[-\frac{((a-a^*)\sigma)^2}{2}\right].\]

二者在 paper 未说明 reparameterization 的情况下不等价。

  1. paper known-policy formula 使用 \(\pi(a+\Delta\mid x)/\pi(a\mid x)\),released code 计算 \(\pi(a-\Delta\mid x)/\pi(a\mid x)\)。后者其实符合“若 \(A^*=A+\Delta\),new density at \(a\) 来自 old \(a-\Delta\)”的常见 change-of-variable intuition,但 paper 与 code 的 sign convention 需要作者级解释。

这不是本导读宣判 theorem 错误;它意味着:现有 release 不能未经对齐就被当作 theorem 的 faithful executable proof

09 · Limitations

主要局限性

  1. unconfoundedness 不可由 conformal calibration 修复。 hidden confounder 会让被覆盖的对象本身不再由 observational data 识别。
  2. continuous positivity 很苛刻。 target dose 在每个 relevant \(X\) profile 下都要有足够 density;tail / gap regions 会使 propensity ratio 爆炸或 intervals 极宽。
  3. unknown propensity 仍依赖有效的 \(M\) practitioner 很难从同一 observational sample 证明全 support 上 \(\hat\pi/\pi\in[1/M,M]\)
  4. coverage 是 population-marginal。 它不能排除某年龄、sex、disease severity 或 rare-covariate subgroup 持续 undercoverage。
  5. 不是 simultaneous dose-response band。 对多个 doses 分别构造 \(1-\alpha\) intervals,会累积 family-wise error;完整 curve 不享有同一 coverage。
  6. finite-sample valid 不等于 informative。 support 弱、\(M\) 大、calibration sparse 时,最诚实结果可能是极宽 interval。
  7. hard intervention 依赖 kernel / smoothness bridge。 point-mass intervention 通过 Gaussian limit 和 Hölder-smooth dose response 处理;discontinuity、threshold toxicity 或 structural break 会挑战这条 bridge。
  8. theorem 假设 optimum,代码只有 numerical solution。 binary-search tolerance \(\varepsilon\)、IPOPT local behavior、underflow / overflow 和 solver failure 都可能让 executable coverage 偏离 exact statement。
  9. single treatment、univariate outcome。 multi-drug combinations、time-varying dose、treatment trajectories、competing outcomes 不在 main scope。
  10. sample splitting 损失 data efficiency。 小数据同时分 train 与 calibration,point predictor 和 conformal quantile 都可能变差。
  11. ITE interval 可能很保守。 两个 \(1-\alpha/2\) intervals 的 radii 相加,没有利用 paired potential-outcome error dependence。
  12. CATE vector computation 昂贵。 paper 自己指出 repeated optimization 在 large CATE vectors 上可能 expensive;每个 person × dose × \(alpha\) 都要多次 solver calls。
  13. synthetic empirical guarantee 并非每格成立。 Dataset 2 tail hard intervention 的 0.84 低于 0.90 nominal,说明 finite implementation / support sensitivity 要单独审。
  14. TCGA 是 semi-synthetic。 真实的是 gene expression,treatment/outcome mechanism 是作者设定,不能当作真实 oncology causal effect evidence。
  15. MIMIC 没有 counterfactual validation。 Figure 7 的四个 exemplars 只支持 qualitative shape,而且 outcome 做过增加 treatment dependence 的 transformation。
  16. baseline set 不对称。 MC dropout、ensemble、GP 与 vanilla CP 本就没有 intervention-shift finite-sample guarantee,胜出并不等于与最强 alternative causal interval methods 充分比较。
  17. coverage 与 width 没有统一 decision utility。 一个覆盖但极宽的 interval 可能无法改变 clinical action;论文没有用 treatment regret、abstention cost 或 utility 衡量。
  18. fairness / subgroup reliability 未评估。 MIMIC 只画 male/female 与 young/old examples,不等于 subgroup coverage audit。
  19. paper–code kernel 与 shift-sign 需要对齐。 公式与 released implementation 的差异阻止我们声称 theorem 已由该代码直接实现。
  20. release 有复现摩擦。 README 依赖外部 licensed MOSEK/IPOPT;把 generator 写成不存在的 ceate_data.py 而实际文件是 create_data.py;requirements 还有 version conflicts / questionable pins。
  21. paper 与 current code experiment scale 不完全一致。 appendix 写 1,000 test samples 与 50 runs;inspected config 设 n_test=400、主 run script 列 10 seeds,需解释 aggregation 才能精确复验 paper figures。
  22. current repository 未见 TCGA pipeline。 release tree 的 README / scripts 重点覆盖 synthetic 与 MIMIC,本导读未找到 appendix TCGA 的 end-to-end reproduction path。
  23. 本导读没有重跑。 没有安装 licensed solvers、下载 MIMIC、训练 normalizing flow 或独立验证 coverage。
10 · Stronger tests

什么实验会让结论更强

  • 先发布 formula–code conformance tests:给定 \(a,a^*,\sigma,\Delta\),逐项对齐 kernel 与 propensity-ratio sign;
  • 用 analytic propensity 的 tiny DGP 检查 optimizer 输出与 brute-force augmented quantile 是否一致;
  • 报告 exact-solver threshold、binary-search approximation 和 different \(\varepsilon\) 下的 coverage sensitivity;
  • 系统 sweep \(M\) 真值、指定值与 misspecified value,画 coverage–width frontier;
  • 把 propensity-error assumption 做成 falsifiable diagnostics,而不只让 practitioner 猜 \(M\)
  • 逐步把 target dose 推向 support tail,报告 effective sample size、density ratio、width 与 coverage;
  • 同时报告 overall marginal、covariate-group conditional、worst-group 与 local-dose coverage;
  • 对多个 doses 做 family-wise / simultaneous curve coverage,而不只 pointwise intervals;
  • 比较 split conformal、cross-conformal、jackknife+ 等 data-efficient variants;
  • 加入 stronger causal-UQ baselines:continuous-dose Bayesian、bootstrap / doubly robust、sensitivity-aware intervals,并同时比较 assumptions;
  • 让 outcome predictor quality 横跨 well-specified、underfit、overfit、heteroskedastic 与 discontinuous response;
  • 用多个 propensity estimators 与 deliberate misspecification 测试 robustness,不只 conditional normalizing flow;
  • 对 synthetic undercoverage cell \(D2,10X,\alpha=.1\) 做 replicate-level forensic analysis;
  • 对 TCGA 4 个 below-nominal cells 增加 runs 与 binomial uncertainty interval,区分 Monte Carlo noise 与 systematic bias;
  • 在 MIMIC 做 negative-control outcomes、overlap audit、subgroup coverage proxy 与 sensitivity analysis;
  • 引入真实 randomized continuous-dose trial 或 dose-finding study,哪怕只能验证 subset interventions;
  • 评估 interval-guided treatment policy 的 regret / safety violations,而不只 coverage 与 width;
  • 扩展到 multivariate / longitudinal treatments 与 time-to-event outcomes;
  • 提供 container、open-source solver fallback、all seeds/configs 与 TCGA script,跑一次 clean-machine reproduction。
11 · Claim boundary

论文可以支持什么结论

它可以支持:

  • continuous-treatment intervention 会改变 generalized propensity,普通 conformal exchangeability 因而失效;
  • intervention shift 可以写成 tilting function,并进入 augmented quantile calibration;
  • known propensity 的 additive soft shift 可以得到 finite-sample marginal potential-outcome coverage theorem;
  • unknown propensity 的 hard-intervention case,在 multiplicative error bound \(M\) 等 assumptions 下也有相应 theorem;
  • absolute-residual score 下,可以把两个 potential-outcome intervals 组合成 conservative ITE interval;
  • synthetic 与 TCGA semi-synthetic experiments 中,本文 method 的 coverage 远好于 MC dropout / ensemble,且多数 cells 接近或超过 nominal target;
  • low-support treatment regions 会产生更宽、更符合风险直觉的 intervals;
  • MIMIC example 展示 method 可作用于 high-dimensional observational healthcare pipeline。

它不支持:

  • 对任意 patient profile 都有 exact \(1-\alpha\) conditional coverage;
  • 整条 continuous dose-response curve 被 simultaneous coverage;
  • propensity 完全未知、无需 estimator 或 \(M\) 也有效;
  • hidden confounding、positivity failure 或 covariate-distribution shift 被 conformal prediction 自动修复;
  • finite-sample guarantee 意味着 finite implementation 的每个 empirical cell 必达 nominal;
  • interval 宽就一定对临床决策有用;
  • MIMIC Figure 7 验证了真实 counterfactual outcomes;
  • TCGA experiment 验证了真实 cancer treatment effects;
  • released code 已与 theorem formulas 完全对齐并一键复现所有 paper results;
  • method 已覆盖 multi-treatment、longitudinal dosing 或 full CATE surface。

一句最安全的引用方式是:

Schröder et al. 将 continuous-treatment causal conformal prediction 表述为 intervention-induced propensity-shift calibration,并在 known / bounded-error estimated propensity settings 下给出 potential-outcome marginal coverage results;synthetic 与 semi-synthetic evidence 总体支持其 coverage 改善,但 assumptions、tail overlap、少数 undercoverage cells 与 paper–code alignment 仍需保留。

12 · Research connection

为什么它与当前研究有关

它把 uncertainty 变成 causal record,而不是画图样式

一个 continuous-treatment claim 至少应带:

treatment / unit:
hard or soft intervention:
potential-outcome target:
observed confounders:
propensity known / estimated:
overlap region:
propensity error bound:
calibration split / score:
coverage type: marginal / group / conditional / simultaneous
nominal alpha:
observed width:
assumption and failure status:

没有这些字段,“95% causal interval”几乎不可审。

它分开 outcome mechanism 与 assignment mechanism

即使 \(Y\mid X,A\) predictor 不变,只要 treatment policy 从 \(\pi\) 变成 \(\tilde\pi\),calibration validity 就可能断裂。

因此 mechanism preservation under shift 至少有两层:

\[\text{outcome response stability}\]

与:

\[\text{assignment / calibration stability}.\]

只验证前者,不能自动迁移 uncertainty guarantee。

它提醒我们“point estimate 与 evidence envelope”要一起投影

用户看到 dose recommendation 时,页面不应只显示:

best dose = 9
predicted outcome = 4.0

还要显示 support、interval width、coverage semantics、\(M\) sensitivity 与是否跨过 action threshold。否则 uncertainty 被藏在 backend,用户只看到过度确定的 projection。

它为 benchmark 加入四个可区分 failure axes

  • causal identification failure:hidden confounding / consistency;
  • assignment-shift failure:wrong \(f\) / wrong sign / policy drift;
  • propensity uncertainty failure:\(M\) too small / density floor / low overlap;
  • calibration / optimization failure:finite split、solver tolerance、undercoverage。

这比只看 RMSE 或 average interval width 更接近真实可用性。

13 · Reading path

推荐阅读顺序

如果只有 12 分钟

  1. Abstract + Figure 1:先看 point estimate、asymptotic UQ、finite-sample CP 的区别;
  2. Section 3 的 objective Eq. 1:确认覆盖对象是 potential outcome;
  3. Section 4 开头与 Figure 3:分清 known-soft 与 unknown-hard scenarios;
  4. Theorem 4.2 / 4.5 只读 statement 与 assumptions;
  5. Table 1:亲自检查 0.84 < 0.90 的 exception;
  6. Figure 7:把 MIMIC 当 qualitative illustration;
  7. Discussion:保留 \(M\)、marginal coverage、conservatism 与 compute 边界。

如果要真正理解 guarantee

  1. Section 3 的 data split、hard / soft potential outcomes 与 assumptions;
  2. Eq. 2 的 propensity tilting;
  3. Eq. 3–7 的 augmented quantile 与 Lemma 4.1;
  4. Theorem 4.2 + Supplement D.2 的 convex dual proof;
  5. Assumption 1、Lemma 4.3 / 4.4、Theorem 4.5;
  6. Supplement D.3 的 KKT / exchangeability proof;
  7. Appendix E.2:确认 guarantee marginal across \(X\)
  8. Appendix F.2–F.5:continuous-treatment difficulty、kernel、\(sigma\)\(M\) interpretation;
  9. Supplement A.1:ITE interval 如何由两个 potential outcomes 组合。

如果要审 algorithm 与 evidence

  1. Supplement Algorithm 1 / 2:看 bracket + binary search + repeated solver;
  2. Appendix G.1:手核两套 DGP;
  3. Figures 4–6 与 Table 1:coverage 和可视化;
  4. Appendix Table 5:coverage 背后的 width cost;
  5. Appendix C 的 TCGA Table 2/3:逐格对 nominal target;
  6. Section 5.3 + Appendix G.2:MIMIC preprocessing 与四个 exemplars;
  7. released README、dataset config、interval optimizer 与 run scripts;
  8. 最后对齐 paper kernel / \(\Delta\) formula 与 code expression,再谈 reproduction。
14 · Sources and next reading

论文来源与相邻阅读

Primary sources inspected

What was verified from those sources

  • data object, hard / soft intervention targets and marginal coverage Eq. 1;
  • consistency, unconfoundedness, positivity, smoothness and exchangeability requirements;
  • propensity-tilting formulation, augmented quantile calibration and Theorems 4.2 / 4.5;
  • Assumption 1’s multiplicative error bound \(M\), Gaussian-kernel hard intervention and ITE extension;
  • Algorithms 1/2, solver choices, complexity and runtime statement;
  • synthetic DGPs, Table 1 coverage, width table and vanilla-CP comparison;
  • TCGA sample / feature scale, all nine coverage cells and interval widths;
  • MIMIC cohort, variables, split, preprocessing caveat and qualitative figure;
  • repository structure, dependencies, scripts, hard-kernel / shift-sign expressions and current reproduction gaps.

Projection boundary

本文档是 source-grounded 中文导读,不是作者原文、formal theorem audit 或 independent reproduction report。我们没有:

  • 安装 MOSEK / IPOPT 或运行 optimization;
  • 证明 Lemma 4.4 的 invex argument 或重做 full proofs;
  • 重新生成 synthetic / TCGA data;
  • 下载 MIMIC-III-extract 或审计 patient preprocessing;
  • 训练 MLP / conditional normalizing flow;
  • 独立重算 coverage、width 或 16.43-second runtime;
  • 判定 paper–code expression gap 的最终原因。

因此数值均为对 official PDF / appendix 的核对转述;代码差异是静态 source comparison,不等于执行后 bug report。任何 clinical 或 policy use 都需要独立 causal identification、overlap、subgroup coverage、solver correctness 与 domain validation。