Measuring Variable Importance in Heterogeneous Treatment Effects with Confidence

第一误会：一个 CATE 模型预测准确，就能可靠解释 effect modifiers。论文明确把两个目标分开。模型可能 PEHE 较好，但 variable-importance procedure 因相关变量、有限样本或 stochastic optimization 而产生高方差、假阳性或假阴性。

第二误会：feature importance 就是 causal mechanism。PermuCATE 衡量的是某个 observed covariate 对已声明 CATE function 的全局预测重要性。它不是在说干预这个 covariate 会改变 treatment effect，也不识别 latent unit coordinate。相关变量的 conditional resampling 质量同样是关键假设。

第三误会：把变量删掉重训就是黄金标准。LOCO 很直观，但每删一个变量都重新拟合 CATE learner；高容量模型与随机优化会把“变量缺失的影响”和“又训练了一次模型的误差”混在一起。PermuCATE 复用主模型，转而估计 \(X_j\mid X_{-j}\) 后做 conditional permutation。

这是当前 P23/HCGM-CE 最值得补入的 2025 top-venue 对手之一，因为它把“heterogeneity as primitive / interpretability”压成了可检验统计问题。若 P23 只展示 latent \(U\)、effect-score quartiles 或 feature attribution，它仍低于 PermuCATE 的问题标准。

同时，PermuCATE 不与 HCGM 做同一件事。它检查 observed-variable importance，不构建 response distribution 或 cross-world coupling。合理关系是：HCGM 给出一个 effect/response model；PermuCATE 类方法检查哪些 observed covariates可靠地解释其异质性。两者可以成为互补 evaluation，而不是互相替代。

假设 clinical trial 有 25 个 baseline variables。一个 CATE model 告诉我们 treatment 对不同病人的效应不同。研究者最想知道：是年龄、基线严重度、某个 biomarker，还是几个高度相关变量共同驱动差异？

最粗的方法是看模型的 feature importance；但相关变量会分摊或复制信号，深度模型的 attribution 没有显著性保证。LOCO 可以去掉年龄再训练，比较风险变化；可若训练本身不稳定，差异可能来自两个模型落在不同局部最优。

PermuCATE 保持 CATE learner 不变。它为年龄生成“在其他 covariates 给定时合理、但打乱了原年龄信号”的替代值，再比较 causal feasible risk。重复 sample-splitting 后，重要性估计可做统计检验。直觉上，它问的是：保持其他观测背景后，破坏 \(X_j\) 的独特信息会让 CATE prediction 变差多少？

观测是 \(Z_i=(X_i,A_i,Y_i(A_i))\)，\(A\in\{0,1\}\)。目标 CATE 为

真实 \(\tau(x)\) 在现实数据不可见，所以不能直接用 oracle PEHE 做 variable importance。论文采用可从数据估计的 causal risks，例如基于 doubly robust pseudo-outcome 的 PO-risk，也讨论 R-risk。

实验包含低维线性、低维多项式、高维相关变量等 synthetic settings；CATE learners 包括 Ridge、causal forest、CateNet 与 TabPFN 类模型。IHDP benchmark 有 747 subjects、25 covariates，outcomes 由半合成 mechanism 提供，因此能知道真正重要变量的 support。论文还用 noisy copies 扩展维度，测试 group importance。

这里的 evaluation 也不是单指标。CATE learner 先用 PEHE 类指标检查 effect prediction；importance layer 再看 true-support recovery、AUC、statistical power、false positives 与 nominal type-I error。一个 learner 可以在第一层更好、在第二层更差。训练/评估切分和 fold-level corrected test 是数据对象的一部分，不是实现细节。

第一步，用 cross-fitting 估 nuisance functions 和 pseudo-outcomes。第二步，用任意 CATE learner 得到 \(\hat\tau(x)\)。第三步，把数据切成 train/test 或 folds，避免用同一记录同时拟合和评估。

第四步，对目标变量 \(X_j\) 拟合 conditional sampler，近似 \(P(X_j\mid X_{-j})\)。第五步，在评估样本中生成 \(X_j'\)，保持 \(X_{-j}\)，形成 perturbed \(X^{(j)}\)。第六步，比较 \(\hat\tau(X)\) 与 \(\hat\tau(X^{(j)})\) 在可行 causal risk 上的表现差。

第七步，在 folds 上聚合 importance differences，构造 confidence interval / p-value。论文的有限样本分析说明：LOCO 的方差含 reduced CATE model 的额外估计误差；PermuCATE 的主模型误差在差分中更容易抵消，但 conditional sampler 错误仍会进入。

设真实 CATE 是 \(\tau(x)=2x_1\)，而 \(x_2\) 与 \(x_1\) 高度相关，\(x_3\) 是噪声。一个灵活模型可能同时使用 \(x_1,x_2\)。普通 permutation 完全打乱 \(x_1\) 会创造不现实组合，从而夸大重要性。

Conditional permutation 根据 \(P(x_1\mid x_2,x_3)\) 生成替代值。它保留与 \(x_2\) 的合理依赖，只破坏 \(x_1\) 超出其他变量可预测部分的独特信息。若 \(x_2\) 几乎完全复制 \(x_1\)，\(x_1\) 的 conditional importance 可以很小；这不是说 \(x_1\) 没有生物学意义，而是说给定当前 covariates 后它没有额外预测信息。

把这个例子移到 HCGM：latent \(U\) 可能强烈响应 \(x_1\)，但 observed-variable importance 问的是破坏 \(x_1\) 是否损害 \(\hat\tau(x)\)。latent sensitivity、observed conditional importance 与 causal intervention on \(x_1\) 是三种不同对象，公开页应分开。

再看一个负例：若 \(x_3\) 完全是噪声，正确 procedure 应让它的 importance interval 包含零，并在多次 folds 中维持 nominal false-positive rate。若只看一次 attribution heatmap，噪声变量也可能被排到前列。PermuCATE 的价值恰在于把“看起来重要”改成有 null behavior 的判断。

理论层面，论文比较 LOCO 与 PermuCATE 在 finite-sample estimation error 下的 variance。核心结论是：当 CATE learner consistent 时，两者都面向同类全局 importance/Sobol-style target，但 PermuCATE 的差分可抵消主 CATE estimator 的部分误差；LOCO 额外依赖 reduced model 的拟合误差。

合成实验中，PermuCATE 在小样本、非线性、高维相关变量和 stochastic deep learner 下通常表现出更低方差与更高 power。论文同时检查 nominal \(\alpha=0.05\) 的 type-I error，而不是只展示 ranking。

IHDP 中，论文用 747 subjects 和 25 real covariates 的半合成 outcomes；比较 causal forest、CateNet、TabPFN 等 learners。Figure 4 把 CATE estimation、importance AUC、statistical power 与 type-I error 分开。作者特别指出：一个 learner 的 PEHE 更好，不保证它配套的 importance inference 更可靠；这是 P23 最重要的阅读点。

论文的证据比一般 explanation plot 强，因为它要求 inferential calibration；但它仍依赖 pseudo-outcome/nuisance quality、conditional density estimation 和 sample splitting。进入 HCGM 时不能只复制“更高 power”的结论，需要对当前数据重新验证。

读图时还要分清四条轴。Figure 2 主要看 importance estimator 的 variance，不是 CATE prediction；Figure 3 看 support recovery/power；Figure 4 把 IHDP 上的 PEHE、importance ranking、power 与 type-I error 并列。论文刻意展示“更会预测”与“更会解释”可能不一致。若只摘一个 AUC 或一句 higher power，就会丢掉最重要的反例结构。

type-I error control 是 procedure-level claim，需要 sample splitting、test statistic、nuisance estimates 与 conditional sampler 一起成立；不能把一次 p-value 当跨数据集稳定事实。对每个 HCGM benchmark，都应重新记录 folds、sampler family、multiple-testing correction 与随机种子。

先用 H3 CFR/TARNet 理解 CATE learner 如何在 selection imbalance 下产生 \(\hat\tau(x)\)；再读 H1，理解即使 \(\hat\tau\) 可用，解释 heterogeneity 仍需要新的 inference layer；最后读 H2，理解同一 CATE function 向另一 target population 迁移时还要处理 selection 与 missing separating variables。

这条链把三个常被混在一起的动作拆开：estimate heterogeneity、explain heterogeneity、transport heterogeneity。HCGM-CE 当前直接覆盖第一个动作的一种 model family；第二、第三个动作不能靠“latent abduction”自动继承。

1. estimand 是 conditional mean、location、distribution 还是 model-implied effect law；
2. observed effect modifiers 与 latent coordinates 是否分开；
3. interpretation 是否有 independent folds 与 calibrated null；
4. correlated proxies 下 importance 是否稳定；
5. WAWS 无 ITE truth 的边界是否保留；
6. significance、effect size 与 policy relevance 是否分别报告；
7. 是否避免把 variable importance 写成 intervention effect。

如果要形成 submission evidence，还应加入已知无关变量、相关 proxy 与 shuffled outcome/treatment negative controls，检查 false-positive control；并做 cross-fit stability map，区分“单次显著”与“跨 split 可复现”。

对每个 candidate modifier，同时报告：目标 estimand、CATE learner、fold scheme、conditional sampler、importance estimate、confidence interval、multiplicity rule、cross-split selection frequency、effect-size relevance 与是否可干预。若其中任一项缺失，公开页只能称为 exploratory signal。

在 latent model 上再加两列：它是否是 observed covariate，还是仅由 encoder 构造；它是否有跨模型稳定含义。这样可以让 HCGM 的 model-internal representation 与 PermuCATE 的 observed-variable inference 同桌但不混淆。

PermuCATE 的贡献非常“干净”：它没有再造一个 CATE predictor，而是修补 CATE model inspection 的薄弱环节。对 biomedical/high-dimensional settings，这比增加一个 outcome head 更容易改变实际研究判断。

方法的优势来自复用主模型并把 conditional dependence 显式交给 sampler；代价是 conditional sampling 本身可能困难。它最适合作为 evaluation/inference layer，而不是新的 causal identification engine。对 HCGM 来说，这种角色边界反而有价值：science source 负责 estimand 与 response model，scout 把 reviewer 会追问的解释可信度变成独立 gate。

客观地说，论文没有宣称一套解释方法取代所有 scientific analysis；它把可检验性推进了一步。真正使用时仍要把 statistical importance、domain knowledge、effect size 与 intervention plausibility 合起来。

1. 只解释 observed covariates。 latent \(U\) 的坐标、机制参数或 noise state 不会自动获得同样的统计解释。

2. conditional sampler 可错。 高维复杂 \(P(X_j\mid X_{-j})\) 难估；错误会污染 importance 与检验。

3. importance 不是 intervention effect。 \(X_j\) 对 CATE prediction 重要，不代表干预 \(X_j\) 会改变治疗反应。

4. 依赖 causal risk。 nuisance models、pseudo-outcomes 或 R-risk 不稳，会影响最终 inference。

5. 二元 treatment 为主。 continuous dose、time-varying treatment 与多 arm 需要新的定义和 sampler。

6. 全局 importance 会平均。 只在小 subgroup 生效的 modifier 可能被全局量稀释。

7. 相关变量解释不唯一。 conditional importance 回答“额外信息”，不等于科学上的唯一原因归属。

8. IHDP 仍是半合成。 support truth 来自模拟 outcome，不是 observed clinical modifier truth。

9. 计算并非零成本。 虽少于每变量 refit，cross-fitting、nuisance fits 和 conditional samples 仍可能昂贵。

10. 显著性不等于效应大小。 大样本中很小的 importance 也可能显著，科学 relevance 需要独立阈值。

11. 多变量检验需要校正。 同时看几十或几百 covariates 时，单变量 nominal level 不足以决定 discoveries。

12. 解释依赖 learner。 importance 针对当前 \(\hat\tau\)；换 estimator、loss 或 target estimand 后结果可能改变。

13. 外部效度未覆盖。 在一个 population 上重要的 modifier，迁移到另一个 population 时可能改变；这需要 H2 类 transport analysis。

对 HCGM-CE，最强下一步是把 PermuCATE 作为独立 audit layer：在 synthetic truth 已知时检查是否找回真正 effect modifiers；在 IHDP 上报告 importance stability；在 WAWS 上只报告 observed-variable ranking 与 conditional inference，不称 individual truth。

同时比较 direct CATE learner、AB-HTE location effect 与 response-distribution summaries，检查“模型预测更好”和“变量解释更稳”是否排序一致。加入 correlated proxies、noisy copies、hidden-confounding negative control 与 cross-fold stability。对 latent \(U\)，另做 representation sensitivity，但在表格中明确它不是 PermuCATE significance。

每个结果还应给 effect size，而不只给 p-value。

可以说：CATE estimation 与 effect-modifier inference 是两个不同任务；PermuCATE 用 conditional permutation 与 feasible causal risk 提供 model-agnostic global importance，并在论文的有限样本实验中相对 LOCO 展示更低方差/更高 power。

不能说：显著变量就是 causal mechanism；Permutation 解决了 hidden confounding；IHDP importance 是真实 biomarker truth；或 HCGM latent representation 已因此可解释。

更安全的 P23 句子是：“我们把 observed effect-modifier inference 与 latent response representation 分开；前者需要独立、校准的 variable-importance audit，后者只作为 model-internal object 报告。”

P23 的窄贡献目前不是 universal accuracy，而是 analytic response/coupling object 与清晰 truth boundary。H1 增加一个 reviewer gate：即使模型给出 heterogeneous responses，能否可靠说明 observed heterogeneity 由什么驱动？

它还改变 public Scout 的信息结构：过去只有“HTE 已经存在”的经典提醒，现在加入“解释 HTE 也有 inferential SOTA”。这能防止 P23 把 attention map、latent embedding 或 score strata 当作完成的 interpretability evidence。

先读摘要和 introduction，确认目标是 variable importance 而非新的 CATE predictor；再读 Section 2 的 LOCO、PO-risk/R-risk 与 CPI 定义；随后读 Algorithm 1，画出 CATE learner、conditional sampler、risk difference 三个模块；再读 finite-sample variance 命题；最后读 Figures 2--4，把 variance、power、type-I error 与 PEHE 分开。为 P23 工作时，读完立即写一张“observed modifier / latent coordinate / intervention target”三列边界表。

第二遍建议只追一个变量：它在原始 CATE model、LOCO reduced model、conditional sampler 和 final test 中各出现在哪里。第三遍再看 correlated variables 与 grouped importance。这样能避免把 conditional permutation 误读成普通 feature shuffle。

最后读 limitations 与 supplement 的 grouped-variable/noisy-copy experiments，并把 variable importance、support recovery、scientific biomarker 三个词分别标注，防止概念滑移。

• Official PMLR page: https://proceedings.mlr.press/v267/paillard25a.html
• Official paper PDF: https://raw.githubusercontent.com/mlresearch/v267/main/assets/paillard25a/paillard25a.pdf
• PMLR volume record: https://proceedings.mlr.press/v267/
• Public projection: https://wehub.us/gong/10-paper-portfolio/causality-scout/paper-digests/h1-permucate-variable-importance/

官方 PMLR 页面提供 citation metadata、PDF 与 OpenReview 入口；这里以 official paper 的 method、figures 与 appendix 为内容证据。

本页不声称已经运行 PermuCATE code，也不把论文的显著性结论迁移到 HCGM 数据。所有数字和结论进入 manuscript 前需按当前 implementation、folds 与 nuisance protocol 重验。