On the Eligibility of LLMs for Counterfactual Reasoning: A Decompositional Study

误会一：48,596 条都是新构造的 SCM 反事实样本

不是。论文收集 11 个既有数据集，原任务包括问答、文本改写、视觉计数、进制转换、code execution、code generation 与 code summarization；作者再为实例标注 Exposure X / Covariate Z / Mediator M / Outcome Y、reference graph 和 intervention。

因此，数量大说明覆盖面广，不等于 48,596 个世界都拥有独立验证过的真实 causal mechanism。

误会二：四阶段就是一次完整 pipeline 的逐步运行

主实验不是。作者为了隔离每一阶段，会在评测 Task II 时提供 ground-truth variables，在评测后续阶段时也提供前序 ground truth。这样能回答“单独给你正确上游对象，这一步会不会”，但不能直接看到模型自己前一步的错误如何在真实 end-to-end 运行中传播。

误会三：论文里的 counterfactual 与 D1 的严格定义完全相同

也不是。D2 假设：

然后固定 Z=z，把 X 改成 x'：

这里没有外生变量 U，也没有根据事实 (x,m,y) 反推当次事件的隐藏噪声。它更接近“在指定 causal skeleton 下做 conditional intervention / hypothetical propagation”。这不让四阶段诊断失去价值，但必须限制我们对“反事实”的外推。

所以最合适的定位是：一个跨模态的 counterfactual fault-localization framework，而不是一项已经校准了所有严格因果语义的统一能力测验。

想象学生期末只拿了 78 分。你问：“如果他当时接受 tutoring，分数会是多少？”

一个只看最终答案的 benchmark 只会记录：

model answer = 85
reference = 85
correct

D2 会继续追问四件事：

1. 模型有没有把 tutoring 认作 X，家庭经济状况认作 Z，学习时间认作 M，考试分数认作 Y？
2. 它有没有画出 X -> M -> Y，以及 Z 对路径的影响？
3. 它有没有认出 query 把 X 从“未 tutoring”改成“接受 tutoring”？
4. 它能否先得到新的学习时间 M'，再得到新的考试分数 Y'？

同一个错误答案，可能来自完全不同的位置：

变量错 -> 后面全建立在错误对象上
变量对、图错 -> 变化走错路
图对、干预错 -> 改错变量或值
前三步对、传播错 -> mediator / outcome 没算对

论文真正想提供的是这张“故障定位图”。

统一的四类变量

作者为 factual 与 counterfactual 两个世界分别组织这些角色，并给出 reference DAG、干预值和目标 mediator/outcome。

11 个数据集到底是什么

规模并不均衡：COCO、Open-Critic 和 Code-Preference 三项就有 35,709 条，占约 73.5%。因此“跨 11 个数据集”适合说明 breadth，但任何整体印象都要同时看 per-dataset result，不能把数量当作均匀覆盖。

七类被测模型

主实验包含 GPT-5、GPT-o4-mini-high、Qwen3-VL-235B-A22B-Thinking、Llama-4-Scout-17B、Llama-4-Maverick-17B-128E、Gemini-2.5-Pro 和 DeepSeek-VL。

Tasks I、II、IV 使用 set-level F1；Task III 通常只有一个干预值，因此使用 accuracy。查询默认 temperature 0.7、top-p 0.95、max tokens 2,048。

Task I：Causal Variable Identification

给模型原始 factual context，让它输出 X,Z,M,Y。这里既包括显式对象，也包括需要从语义中推断的 mediator。

Task II：Causal Graph Construction

把 ground-truth variables 提供给模型，再让它输出有向边。这个设计隔离了“变量错”与“连边错”，但也意味着它不是从原始输入端到端发现 graph。

Task III：Counterfactual Identification

给出 what-if query，让模型识别究竟把哪个 X 改成了什么值 x'。这一步常接近从句子中抽取 intervention。

Task IV：Outcome Reasoning

在 reference graph 与 intervention 已知时，预测新的 mediator M' 和 outcome Y'。这是论文认为最能暴露 causal-path propagation 问题的阶段。

两组改善手段

作者没有训练一个新 foundation model，而是从两个瓶颈分别加辅助：

• 对显式 X,Z,Y：text 用 BERT-based NER，image 用 Grounding DINO，code 用 GraphCodeBERT 找候选实体，再让 LLM 过滤。
• 对隐式 M,M',Y'：比较 CoT、k=5 的 CoT-SC 与 k=5 的 ToT；ToT 还用 BERTScore 选择与原任务文本相符的路径。

最后再把“显式变量工具”和“隐式变量 prompting”组合，观察 final Y' 的变化。

下面用一个冷链包裹例子，完整走过四阶段。设：

• X：是否开启增强制冷，0/1；
• Z：室外温度；
• M：包裹内部温度；
• Y：变质风险分数。

为了让计算透明，假设机制是：

事实是 Z=30, X=0，所以：

现在问：如果当时开启增强制冷，即 X'=1，风险会怎样？

Task I：先认对象

X = enhanced cooling
Z = outdoor temperature
M = package temperature
Y = spoilage risk

如果模型把“包裹温度”误认成 outcome，后面即使连边格式正确，也是在解另一道题。

Task II：再认路径

由两个方程可得主要边：

X -> M -> Y
X ------> Y
Z -> M
Z ------> Y

这里既有 mediated effect，也有 direct effect。

Task III：找到真正的干预

do(X = 1)
Z 保持 30

Task IV：让变化沿路径传播

所以增强制冷使风险分数从 12 变成 10。这个例子说明了 D2 的诊断价值：即使模型最后答成 10，我们仍然可以检查它是不是找对了 M'=5，而不是偶然猜中。

同时也要看到 D2 的严格边界：这里没有一个未观察的 compressor efficiency U。如果事实温度 M=9 还要用来反推那次机器效率，再保持同一 U 回答替代世界，就多了一步 D1-style abduction；D2 的四阶段形式化没有单独测它。

结果一：变量识别随模态和隐含程度明显变化

Table 2 显示，即便同一模型，不同对象的 F1 也不一样。以 GPT-5 为例：

这支持“code / multimodal grounding 和隐式对象更难”的诊断。但这些差异同时改变了任务内容、输入长度、标签表达和 modality，所以不能只靠横向分数把下降唯一归因为 causal reasoning。

结果二：变量给对以后，画图往往超过 0.9 F1

Task II 的 graph construction overall mostly exceeds 0.9 F1。论文自己把原因解释为：在 X,Z,M,Y 已经给定、结构规则又明确时，连边更接近 rule application。

因此，这个高分不能读成“LLM 已经会从数据发现 causal graph”。它更准确地说明：模型会按已知角色套用 reference skeleton。

结果三：找到 intervention 相对容易，沿路径推理 outcome 更难

Task III 在多数 datasets/modalities 上表现较好；但 Table 3 的 M' / Y' 会随任务变难而下降：

这确实表明：抽取“改了什么”与模拟“改动造成什么”是两种难度。但 Y' 低分还可能混合 code simulation、视觉感知和开放文本 matching，并非纯粹 mediator reasoning。

结果四：三跳 mediator recall 几乎崩塌

Appendix B.3 的 n-back Mediator Recall 是很值得看的补充实验：

它为“长 causal path 是瓶颈”提供了直接行为证据。作者把它解释成 working-memory constraint；更谨慎的说法是，实验显示 hop length 增加时性能急降，但还没有区分记忆保持、检索、组合计算、prompt length 和 task generation artifact 中哪一项是主要机制。

结果五：工具和 prompting 有用，但更多推理并不自动更真

• tool augmentation 在 explicit variables 上普遍有提升；论文举出的最大示例是 GraphCodeBERT 帮助 Llama 解析 code，F1 最多提高 18.9 points。
• 对 implicit variables，CoT / CoT-SC / ToT 多数提高分数，但更复杂策略有时反而低于简单 CoT。
• combined strategy 在 Table 6 的四个代表数据集上最高提高到 14.2 points（Llama-4-Scout / Open-Critic final Y'），但改善不是简单相加。

论文用“一个人在跑马拉松后倒下”说明 overthinking：reference mediator 是 dehydration，而 ToT 还提出 lack of training 或 overexertion。这个案例既支持“长 reasoning 会扩张 causal path”，也暴露一个替代解释：在没有更多证据时，这几个 mediator 都有科学可辩护性；模型也可能不是推理坏了，而是 benchmark 把一个 underdetermined mediator 当成唯一 reference。

D2 最强的思想是不要让 final answer 抹掉故障位置。尤其在 agent 或 multimodal system 中，变量 grounding、结构组织、干预识别和结果模拟确实可以由不同模块失败，分开测比一个 accuracy 更有行动价值。

但它的可信度有两层必须分开：

1. decomposition 作为诊断设计是否有用？ 很有用，且主实验通过 gold upstream inputs 较好地隔离了各阶段。
2. 每个数据集上的 X,Z,M,Y 和 graph 是否是唯一、严格且有效的 causal ground truth？ 证据较弱。许多原任务本来是语法变换、图片计数、进制转换或 code preference；把它们统一映射成 causal roles，需要额外的语义判断。

因此，论文适合支撑“反事实评测要拆阶段、implicit mediation 值得单独测”；不适合单独支撑“我们已经测量了严格、统一、现实有效的反事实因果能力”。

1. 形式化缺少 abduction。 M=f_M(X,Z), Y=f_Y(X,M,Z) 没有 exogenous U，也没有用 factual outcome 恢复 unit-specific noise；许多任务更像 conditional intervention 或 premise transformation。
2. causal roles 是后加在异构数据上的解释层。 语法顺序、视觉物体替换、进制规则、code bug 等能否共享同一种 Exposure/Covariate/Mediator/Outcome 语义，本身需要验证，不能由统一字段名保证。
3. reference annotation 的可靠性不透明。 可访问论文说明作者 curate/annotate 变量与 DAG，但没有报告 annotator 数量、domain expertise、inter-annotator agreement，或允许多个合法 mediator/graph 的 adjudication protocol。
4. 开放语义常常不唯一。 马拉松案例中 dehydration、overexertion、训练不足都可能是合理机制；exact/set F1 可能把另一种可辩护 causal explanation 算错。
5. 数据规模严重不平衡。 三个大数据集占约 73.5%，不同 modality、task 和 instance count 同时变化，难以把差异唯一归因于 modality 或 causal depth。
6. 主阶段评测切断了真实 error propagation。 每一步拿到前序 ground truth，适合 isolation，但不能证明实际 pipeline 的总错误如何积累；Table 6 的 combined prompting 也不等同于完整结构化 agent pipeline。
7. graph task 受固定 schema 强烈约束。 已知 X,Z,M,Y 后套用 X->M->Y 等边，远比在 unknown variables、colliders、multiple mediators、feedback 或 hidden confounding 下发现 graph 简单。
8. “implicit mediator bottleneck”混合多个能力。 image object detection、code semantics、文本语义、长上下文记忆与数值计算都会影响 M/M'/Y'，目前没有 factorial design 把它们拆开。
9. 改善实验改变了 test-time resources。 NER/vision/code tools 和 k=5 CoT-SC/ToT 提供额外模型、候选与计算；分数提升不能直接解释成 base LLM 的 causal competence 增长。
10. working-memory 解释仍是行为层推断。 三跳退化与 working-memory hypothesis 相容，但没有 state intervention、matched noncausal n-back control 或内部表征证据。
11. 现实 counterfactual validity 未被检验。 benchmark 输出由既有答案和作者 curation 定义，没有处理真实世界里的 identifiability、measurement error、selection bias、cross-world assumptions 或 decision utility。
12. 公开复现面在本次核验中不完整。 论文与官方 slides 可访问，但正文没有给出独立的 curated benchmark/code release URL；本导读没有下载数据或重跑模型。

• 加入带外生变量 U 的严格 SCM split：先根据 factual evidence 做 abduction，再保持同一 U 进行 intervention/prediction；同时保留当前四阶段，比较两种“反事实”定义。
• 对每个 dataset 抽样做多位 domain-expert annotation，报告 agreement，并允许一组等价 mediator / graph，而不是强制唯一自然语言标签。
• 设计 factorial benchmark：固定 task semantics，只改变 modality；固定 modality，只改变 path length、implicitness 和 graph complexity，从而分离 causal difficulty 与 perception/execution difficulty。
• 同时报告 stage-isolated 与真实 end-to-end pipeline；对错误做 intervention，例如把模型预测的变量替换成 gold，测量下游 Y' 实际恢复多少。
• 将 graph 扩展到多个 mediators、colliders、moderators、hidden confounding、stochastic mechanisms 和不允许的 cycles，并加入同表面文本、不同 reference graph 的对抗对。
• 用 semantic equivalence + blind human review 复核开放文本 F1，特别检查论文所称 “overthinking” 是否只是合理的多机制解释。
• 对 n-back 加入同长度、同计算量的 noncausal control，并对模型中间 memory state 做干预，区分 memory、reasoning 与 generation bottleneck。
• 在相同 token / latency / tool budget 下比较 CoT、CoT-SC、ToT 和 tool use，报告 confidence intervals 与 cost-adjusted gain。
• 发布完整 curated annotations、prompt instances、scoring normalization、tool pipeline 与 raw predictions，使 causal-role validity 和结果可以独立审计。

它可以支持：

• LLM counterfactual evaluation 值得从 final answer 拆成 variable、graph、intervention 和 outcome stages；
• 在这套 11-dataset curation 中，给定正确 causal variables 后的 graph construction 通常比变量识别和 implicit mediator/outcome reasoning 容易；
• modality complexity 与 implicit variable status 和低分相关；
• 长 mediator path 会造成显著性能下降，三跳 recall 是一个特别明显的压力点；
• modality-specific tools 与结构化 prompting 能改善部分阶段，但收益不严格相加；
• 更复杂的 reasoning search 可能引入输入没有明确支持的额外路径。

它不能支持：

• 所有 48,596 条实例都具有唯一、经过因果专家验证的 SCM ground truth；
• graph F1 超过 0.9 表示 LLM 会 causal discovery；
• mediator F1 低唯一证明模型缺少 causal reasoning，而与感知、执行、记忆或标注无关；
• 四阶段覆盖了 Pearl-style counterfactual 的 abduction-intervention-prediction 全部要求；
• ToT 提出的非 reference mediator 必然错误，或更多 reasoning 普遍有害；
• 工具/CoT 的分数提升会自动转化成现实世界个体反事实与安全决策能力。

D2 给 P17 最直接的启发是：不要只评分“repair 最后对不对”，而要把 operational counterfactual 也拆开：

1. 识别 source / runtime / tool / worktree / projection variables
2. 建立产生 observed trace 的 causal path
3. 指定 repair intervention
4. 预测 named counterfactual regime 下的 trace / outcome

但 D2 单独还不够。它告诉我们错误在哪一阶段；D1 则追问是否保持了同一个隐藏背景状态。一个更严谨的 P17 evaluation 应把两者叠起来：stage score 负责定位，abduction record 负责防止把“另开一个方便的世界”冒充为同一事件的反事实。

对 DiscoSCM，安全的连接也不是把所有隐式对象都命名为 mediator。更有辨识力的做法是分开记录 stable unit identity、event noise、active regime 与路径中真正的 mediator，再检查哪个对象的识别或保持改变了 repair decision。只有这个拆分带来可测 decision delta，它才超出 D2 的通用诊断 schema。

1. Section 3.1 + Figure 2：先看论文实际假设的 X,Z,M,Y skeleton 和 M_{x'},Y_{x'} 公式；同时注意它没有 U/abduction。
2. Section 3.2 + Table 1：理解四项任务和 11 个 dataset 的真实构成，不要只记“约 48k”。
3. Section 4.1 的 Setting：确认每一阶段拿到前序 ground truth，这是解释所有结果的钥匙。
4. Table 2 + Figures 3-4：先比较 variable identification、graph construction 与 intervention identification。
5. Table 3：逐 dataset 读 M' 与 Y'，不要用单一平均分替代模态差异。
6. Sections 4.2.1-4.2.3 + Tables 4-6：看 tools、CoT/CoT-SC/ToT 分别改善什么，以及 combined gain 为什么不相加。
7. Appendix A：至少抽查 RNN-Typology、CVQA-Count、Arithmetic 和 Open-Critic 的具体 X,Z,M,Y/edges；这是判断 annotation 是否真的 causal 的关键材料。
8. Appendix B.3 + Table 10：看 1/2/3-hop mediator recall 的断崖式下降。
9. Appendix B.4 + Table 11：最后看 Qwen-VL 2B/4B/8B scale study，区分 scaling 有帮助与仍未解决。

• arXiv abstract: https://arxiv.org/abs/2505.11839
• arXiv HTML (v2): https://arxiv.org/html/2505.11839v2
• Paper PDF: https://arxiv.org/pdf/2505.11839
• Official ICLR 2026 slides: https://iclr.cc/media/iclr-2026/Slides/10007238.pdf
• OpenReview forum: https://openreview.net/forum?id=qVFbnfVmuu
• Source boundary: arXiv HTML/PDF and official ICLR slides were checked on 2026-07-10; OpenReview body was challenge-gated in this environment; no public curated-benchmark/code release was located from the paper's primary surfaces; no experiment was rerun.