Counterfactual Structural Causal Bandits

误会一：counterfactual action 等于“想象一个没有发生的结果”

不是。论文只把 realizable counterfactuals 当作动作：系统必须存在一串物理操作，能真的从这个 regime 采出 reward。医疗示例里，可以让医生和 AI 接收病人报告的不同版本；这是一种可实现的接口设计。单纯在脑中问“如果同一个变量同时等于 0 和 1 会怎样”，不能成为 bandit arm。

误会二：选了一个反事实 arm，就能看见所有 potential outcomes

也不是。每一轮仍然是标准 bandit feedback：agent 选一个 arm，只观察这个 arm 产生的一次 reward。

第 t 轮：选择一个 counterfactual arm
       -> 系统执行该 regime
       -> 只返回一个 Y
       -> 其他 arm 的 Y 不可见

论文扩大的是可选动作，没有赠送 simultaneous counterfactual feedback。

误会三：动作空间更大，regret 一定更小

错误。更大的空间可能含有传统 intervention 达不到的更优 arm，也会带来更多探索成本。论文自己的 Task 3 就给出两种相反情形：当最优 arm 真在传统 L1/L2 空间之外时，传统 POMIS 会产生持续 regret；当最优 arm 本来就在传统空间内时，较小的 POMIS 反而可能收敛更快。

所以关键不是“越反事实越好”，而是先证明哪些 arm 值得保留。

误会四：这篇论文在学习 causal graph 或 SCM

不是。它假设 reward variable 和 causal diagram 已知，只把 structural functions 与 exogenous distribution 当作未知。它研究的是已知图上的 action-space design 与 online reward learning，不是从 observational data 做 causal discovery。

误会五：论文解决了任意 Pearl L3 query

没有。作者把可实现的跨 world 动作放在一个称为 \(\mathcal L_{2.5}\) 的区域：它比统一的 node intervention 更细，但受 realizability 强约束。任意 nested counterfactual、同一机制上的互相冲突赋值，仍然不在可执行 action set 中。

最准确的定位是：一篇把反事实从离线 query 变成可执行 bandit arm，并用图论做 action-space reduction 的形式化论文。

想象医院有一个 intake splitter。病人提交原始报告 X 后，系统把信息分给两个下游：

• W：专家医生形成的判断；
• Z：AI triage 模型形成的判断；
• Y：最终治疗质量或收益。

传统 node intervention 只有一只总开关：

do(X = 原始版本)   -> 医生和 AI 都看原始版本
do(X = 标准化版本) -> 医生和 AI 都看标准化版本

论文允许一种更细的、但仍需真实接口支持的动作：

do(W_x, Z_x')

医生 W：按 X=x 的世界形成判断
AI   Z：按 X=x' 的世界形成判断
最终 Y：接收这两个判断并产生 reward

这不是时间旅行。可以把它理解成把一条 node intervention 拆成两条下游信息通道：医生保留自然语言原报告，AI 接收去噪或标准化报告。

但动作能写出来，不等于动作能执行。下面这种要求就有冲突：

同一个 Z 机制在同一次运行中，既按 X=0 计算，又按 X=1 计算，
同时只输出一个 Z 给 Y。

没有复制机制或额外接口时，它不是一个 realizable arm。论文花大量形式工作，正是为了不让“漂亮的 counterfactual notation”偷偷越过物理可执行边界。

已知图、未知机制参数的 SCM bandit

环境是一个 structural causal model：

其中：

• \(\mathbf U\) 是未观测 exogenous variables；
• \(\mathbf V\) 是 observed/endogenous variables；
• \(\mathbf F\) 是 structural mechanisms；
• \(P(\mathbf U)\) 给出环境随机性；
• \(Y\in\mathbf V\) 是 reward。

agent 知道 causal diagram \(\mathcal G\) 和 reward node \(Y\)，但不知道具体 \(\mathbf F\) 与 \(P(\mathbf U)\)，因此仍需通过 repeated interaction 学习各 arm 的 mean reward。

从 node intervention 到 world-indexed action

传统 arm 是 \(do(\mathbf X=\mathbf x)\)，其均值为：

论文把 counterfactual intervention set 写成：

直观上，\(X_i[\mathbf w_i]\) 表示让变量 \(X_i\) 取它在 world/regime \(\mathbf w_i\) 下会产生的值；不同组件可以引用不同 world。动作的 reward 是对应的 \(Y_{\mathbf X_*}\)，均值记为 \(\mu_{\mathbf X_*}\)。

最重要的限定是：action set \(\mathcal A\) 只含可实现的 \(\mathbf X_*\)，不是所有语法上能写出的 cross-world expression。

每轮只收到被选 arm 的 reward

第 \(t\) 轮选择 \(\mathbf X_*^{(t)}\in\mathcal A\)，然后观察一个样本 \(Y_{\mathbf X_*^{(t)}}\)。若最优 arm 是 \(\mathbf X_*^*\)，cumulative regret 为：

这条式子提醒我们：多保留一个次优 arm，就可能多付一份探索次数 \(N_T\)；错误删除最优 arm，则会把目标本身改坏。

理论对象的三层筛选

最后才把缩减后的 arms 交给普通 bandit solver。

第一步：只允许 realizable counterfactuals

作者先检查 cross-world ancestors 是否互相冲突。若同一个 endogenous mechanism 在一次生成过程中被要求接受不一致的 parent assignments，该 expression 不能成为 action。

这个步骤把“可以定义一个 probability query”和“可以反复执行并收集 bandit reward”分开。

第二步：用 Theorem 1 找 CTF-MIS

设 \(\mathbf X=\{X_i\}\)，\(\mathbf W_i\) 是 world \(\mathbf w_i\) 涉及的变量。论文证明，一个 realizable \(\mathbf X_*\) 是 CTF-MIS，当且仅当：

并且对每个 \(X_i[\mathbf w_i]\)：

读法比符号简单：

1. 被操作的每个变量都必须还存在一条到 reward 的有效 causal path；
2. 每个 world label 都必须真的进入相应变量的生成 ancestry。

若不满足，删除该组件不会改变 reward distribution，它就不是 minimal。

第三步：构造 counterfactual regime graph

对一个 CTF-MIS，作者构造 \(H_{\mathbf X_*}\)：只保留生成 \(Y_{\mathbf X_*}\) 所需的变量和边，并按该 action 固定相应机制参数。这个图描述的不是原始世界的全部结构，而是执行这一只 arm 时，reward 实际怎样传播。

第四步：用 Theorem 2 找 CTF-POMIS

论文借用 unobserved-confounders' territory 与 interventional border。Theorem 2 给出 sound-and-complete 判据：

直观上，如果 regime graph 的 hidden-confounding territory 外还存在一个 intervention border，就总能加上边界动作得到不差、可能更好的 reward；原 action 因而不可能是 potentially optimal。只有边界为空时，它才有资格留在候选集。

第五步：每个等价类只留 representative

多个 counterfactual expressions 可能产生相同的 effect propagation 和 reward distribution。Algorithm 1 不枚举全部表达式，而是按 causal edges 的选择构造代表，再调用 CTF-MISIFY 删除不满足 Theorem 1 的组件。

Theorem 3 证明它返回 all and only representative CTF-POMIS。复杂度为：

它比任意 counterfactual 的超指数枚举更有结构，但仍然对 graph edge 数呈指数增长；这不是“大图上已经轻松可扩展”的算法。

第六步：在缩减后的 arms 上运行标准 solver

实验使用 Thompson Sampling 与 KL-UCB。这里的 finite-time guarantee 来自标准 bandit theory：

论文的新理论重点是怎样正确构造 arm set，不是发明一个新的通用 regret rate。

下面不是论文的原始 SCM，而是一个保持其关键结构的 intake splitter。

X：输入报告版本，0=标准化，1=原始
W：医生判断，W_x = x
Z：AI 判断，Z_x = x
Y：当 W=1 且 Z=0 时 reward=1，否则 reward=0

图是：

       X
      / \
     v   v
     W   Z
      \ /
       v
       Y

只做传统 node intervention

如果统一设 \(X=0\)：

W_0=0, Z_0=0 -> Y=0

如果统一设 \(X=1\)：

W_1=1, Z_1=1 -> Y=0

所以传统 action space 中最优 mean reward 也是 0。

做可实现的 mixed-world action

现在执行：

也就是让医生按原始报告判断、让 AI 按标准化报告判断：

W_1=1, Z_0=0 -> Y=1

它严格优于任一统一 node intervention。这个例子浓缩了论文的 Corollary 1：扩大到 realizable counterfactual action space 后，最优可达 reward 不会低于 L1/L2 最优值，并且可能严格更高。

为什么这仍然是 bandit 问题

现实中 reward 有噪声，agent 并不知道哪只 arm 最好。它每次只能选一种报告路由，观察一位病人的结果，再更新 arm estimate。看到一次 Y=1 不能同时知道 do(X=0)、do(X=1) 与 do(W_1,Z_0) 的潜在结果。

哪一种动作不能偷偷放进来

do(Z_0, Z_1)

若系统只有一个 Z 实例、只输出一个值给 Y，它要求同一机制同时产生两个互斥值，不可实现。除非我们明确复制 Z、重画 causal object，并定义它们如何共同进入 Y，否则不能把这个 notation 当 arm。

证据一：action space 确实可能含有传统 intervention 达不到的最优值

论文 Corollary 1 给出：L1/L2 最优 mean reward 不超过 counterfactual action space 的最优 mean reward。这个结论来自集合包含关系；严格提升是否发生，取决于具体 SCM。

在 Task 1 的 binary SCM 中，论文报告最优 counterfactual arm 的：

Task 2 的最优 mean 约为 \(0.5912\)，相对 L1/L2 最优的 gap 约为 \(0.0042\)。这说明“理论上可更好”在构造实例中真的发生，但 gap 大小可以非常不同。

证据二：图剪枝大幅减少 arm 数，但仍可能比传统 POMIS 大

Appendix Table 2 给出 binary domains 下的规模：

它同时支持两件事：CTF-POMIS 比 CTF-MIS 小很多；但 counterfactual candidates 通常仍比 classical POMIS 多，探索不是免费的。

证据三：在前两个构造任务中，CTF-POMIS 的 cumulative regret 最低

实验每个实例重复 1,000 次；Task 1/2 跑 10k trials，Task 3 跑 100k。Table 1 的前两个任务结果为：

这里 CTF-POMIS 同时获得两类优势：比 CTF-MIS 少探索无用 arms，又没有像 classical POMIS 那样漏掉真正更优的 counterfactual arm。

证据四：Task 3 是论文最值得读的反例

Task 3 有两个 SCM instance：

• 当 \(\Delta_{L\le2}>0\) 时，classical POMIS 永远够不到全空间最优 arm，regret 会出现线性成分；CTF-POMIS 胜出。
• 当 \(\Delta_{L\le2}=0\) 时，传统 POMIS 已包含最优 arm，又只有更少 arms，因此可以比 CTF-POMIS 更快。

这比单独展示胜例更重要：论文没有证明 counterfactual bandit 在所有环境里都该被采用，而是说明它的价值取决于“额外最优性”能否抵消“额外探索”。

证据层级不要混在一起

最强的地方

第一，论文把 action semantics 放在算法前面。它没有把任意 counterfactual query 当成可执行 arm，而是先要求 realizability。

第二，贡献链条闭合：定义 CTF action，刻画 minimality，刻画 potential optimality，枚举 representatives，再测 regret。很多“因果 + decision”论文只完成其中一段，这篇把形式对象一路接到了在线决策。

第三，Task 3 主动给出 counterfactual expansion 会输的情形，因此读者能看清收益来自哪里，而不是只看到一条单调增长叙事。

最需要克制的地方

论文实验是少数手工构造的 binary SCM；known graph、stationary mechanisms、可反复执行的 arm、统一 reward cost 都被预先保证。它最扎实的是“在这些形式条件下，怎样定义和筛选 action”，不是“现实 agent 已经能安全做反事实决策”。

此外，Algorithm 1 仍为 edge-exponential。所谓 efficient 是相对于任意 counterfactual 的超指数枚举，不应读成适合任意大规模真实图。

1. causal diagram 必须已知且正确。 若漏边、错方向或 hidden confounding 标错，CTF-POMIS 剪枝可能删掉真正有价值的 arm。
2. realizability 依赖外部操作接口。 一个 expression 在 SCM 中无冲突，不代表医院、机器人或软件系统真的能执行对应 edge-level routing。
3. 算法仍是指数级。 \(O(n^2 2^{|E|})\) 会随 dense graph 快速失控。
4. 实验只覆盖合成、离散、主要为 binary SCM。 没有 high-dimensional continuous state、图像、文本或复杂 dynamical system。
5. 没有真实部署或自然数据。 论文没有验证 counterfactual arms 的临床可接受性、伦理性或可重复操作性。
6. 机制被假设 stationary。 reward distribution 随时间漂移、病人群体变化或 policy feedback 都未纳入。
7. 不同 arms 的成本与风险未建模。 一个 mixed-world routing 可能远比普通 intervention 昂贵或危险，但 regret 只按 reward gap 计算。
8. 没有同时学习 graph 与 actions。 现实 agent 往往必须边辨认结构、边选动作；论文只解决后半段。
9. bandit feedback 仍很稀疏。 论文没有解决如何从一次执行估计同一 unit 的未选择 counterfactual outcomes。
10. counterfactual action 的价值依赖任务。 当 L1/L2 已含最优 arm 时，新增 arms 只会增加探索，Task 3 已直接显示这一点。
11. standard solver guarantee 不是新 causal guarantee。 \(O(\sum \log T/\Delta)\) 来自既有 bandit solvers，不能归因于 counterfactual formalism 本身。
12. 当前未找到官方实现。 本轮在 ICLR、OpenReview 与作者主页未发现代码仓库，因此 theorem-to-code 与实验可复现性尚未由本导读验证。

1. graph misspecification stress test：随机删边、加边、错标 bidirected confounding，测最优 arm 被错误剪除的概率与 regret。
2. joint structure/action learning：让 agent 不再获得完整 \(\mathcal G\)，比较边学图边做 CTF action 的代价。
3. continuous 与 high-dimensional SCM：测试 representative enumeration 能否与 function approximation 结合，而不是先离散出所有 arms。
4. real interface prototype：在多模块软件、模拟机器人或临床决策 sandbox 中，逐项证明每个 mixed-world action 的执行语义。
5. cost- and safety-aware regret：给不同 arms 增加执行成本、风险预算和不可逆约束。
6. nonstationary environment：让 mechanisms 或 population 随时间改变，测试旧图上的剪枝是否仍安全。
7. 更多 graph families 与规模曲线：报告 edge 数、枚举时间、内存和 arm-count reduction 的完整 scaling law。
8. 强 classical baselines：加入 adaptive action expansion，让系统先在 POMIS 上学习，只有出现证据时才开放 counterfactual arms。
9. realizability audit by domain experts：让专家独立判断形式 arm 是否真的能在目标领域实施，并统计分歧。
10. 公开代码与 exact seeds：重建 Table 1/2、核验 1,000 次 simulation 与所有 SCM parameterization。

可以直接支持

在已知 causal diagram 的 structural causal bandit 中，
可实现 counterfactual actions 可以严格扩大最优可达 reward；
图结构能够完整刻画并枚举一组 representative potentially-optimal arms。
text
在论文的合成 SCM 上，CTF-POMIS 同时避免 CTF-MIS 的冗余探索
与 classical POMIS 漏掉 counterfactual optimum 的长期 regret。

需要加限定后才可支持

counterfactual action-space expansion “有助于” sequential decision，
前提是新增空间真的含有更优且可执行的 arm，
并且 graph/realizability assumptions 可信。

不能支持

任何带 counterfactual wording 的 agent action 都是新的 causal action。
text
模型只要能生成 do(W_x,Z_x') 这样的表达式，就已具备可靠反事实推理。
text
CTF-POMIS 在所有任务中都优于传统 POMIS，或已经适合真实医疗部署。
text
论文解决了 causal discovery、hidden operational regime diagnosis
或从单条 observational trace 恢复个体反事实。

对当前 paper portfolio，D3 最重要的作用是给“反事实动作”划边界。

D3 的起点：
known causal diagram + defined executable interfaces
-> enumerate counterfactual arms
-> prune by equivalence / potential optimality
-> learn reward online

P17 / operational-regime 方向的起点：
messy trace + uncertain source/runtime state
-> infer which generating regime is active
-> decide which repair/action is even semantically valid

因此，P17 不能只说“repair 是 counterfactual，所以问题新”。D3 已经把 formal counterfactual action-space expansion 做成 top-venue territory。真正可守的差异是：D3 假设 formal object 与 action interface 已给定；当前方向更早一步，要从 operational evidence 诊断 hidden regime，才能决定哪些 repair 有效。

它也给整个 causality scout 一个通用检查：每当论文把 causal query 接到 agent decision，都要分别问：

1. action 的物理语义是什么？
2. 一轮到底观察了什么 feedback？
3. action set 是否漏掉最优选项？
4. 扩大 action set 的收益是否超过探索成本？
5. graph 错了时，保证还剩多少？

如果只给 25 分钟：

1. Figure 1 + Section 2：先看 node intervention 怎样变成 \(do(W_x,Z_{x'})\)，确认论文动作语义。
2. Definition 1–2 + Figure 2：弄清 realizable action、CTF-MIS、CTF-POMIS 的包含关系。
3. Proposition 1：这是“哪些 cross-world expression 可执行”的底线。
4. Theorem 1：看 minimality 的两个图条件；先读解释，再读 proof。
5. Figure 7 + Theorem 2：用 regime graph 和 interventional border 理解 potential optimality。
6. Algorithm 1 + Theorem 3：看 representative enumeration 做了什么，以及 \(2^{|E|}\) 从哪里来。
7. Figure 8 + Table 1：先看 Task 3 的正反两种情况，再看 Task 1/2 的 regret 数字。
8. Appendix C Table 2：核对 action counts、SCM definitions、horizons 和 1,000 次重复。
9. Limitations / Appendix B.3：最后回到 realizability、fixed SCM 与 known graph 边界。

阅读时可以一直把这条主线写在纸边：

能写出的 counterfactual
≠ 能执行的 action
≠ 非冗余的 arm
≠ 可能最优的 arm
≠ 在有限 horizon 中值得探索的 arm

Primary sources checked:

• OpenReview forum and final paper
• Final OpenReview PDF
• Official ICLR 2026 poster page
• Author-hosted poster
• Min Woo Park publication page

Source boundary:

• title, authors, venue, definitions, Theorems 1–3, algorithm complexity, Task 1–3 setup, Table 1/2 numbers and stated limitations were checked against primary paper/poster surfaces;
• the worked intake-splitter example is this guide's pedagogical construction, not a paper experiment;
• no official code repository was located on the checked ICLR, OpenReview or author surfaces in this pass;
• this file is the reader-guide source; any generated HTML is a projection and should not be edited as canonical content.