CausalGame: Benchmarking Causal Thinking of LLM Agents in Games

误会一：这是一个 causal QA benchmark

不是。一个评测单元是一整段 interactive session，而不是一道静态问题。agent 会读取历史记录、选择实验、部署无人机、观察结果、修改假设，最后提交唯一一次正式设计。

误会二：生存率高就表示 agent 理解了因果机制

也不是。agent 可能碰巧搜到一个好配置，也可能用泄漏的场景名称猜到答案。论文因此同时看：

• 最终 1,000 架无人机的生存率；
• 实验是否真的形成了有效对照；
• 报告是否说出了隐藏机制；
• agent 是否把具体数据连接到结论；
• 它是否承认自己尚未验证的假设。

误会三：论文已经证明“所有 LLM 都没有 causal thinking”

论文证明的是特定模型版本、提示、工具、预算和模拟器下的经验性失败。它没有给“causal thinking”一个唯一、完备的心理测量，也没有把人类专家、经典主动因果发现算法和 LLM agent 放在同一信息预算下比较。

因此，最稳妥的读法是：CausalGame 揭示了当前 agent 在主动实验、机制识别和抗偏差之间的明显断裂；它没有把这种断裂证明成模型不可改变的本体属性。

所以这篇论文最像一项受控的压力测试与失效解剖，而不是一份关于 LLM 因果能力的终局判决。

先只看 Antenna Trap。

无人机由 engine、wing、body、cockpit、antenna、camera 和 gun 七个部件构成。agent 能给每个部件分配防御值 DEF。直觉会说：天线越坚固，越不容易坏，应该越安全。

但这个世界真正的机制是：

恶劣天气 -> 天线受损

天线仍能工作 -> 持续发射信号 -> 更容易被敌方探测
             -> 进入战斗 -> 机体受损 -> 更容易坠毁

更麻烦的是，历史档案只保留幸存的无人机。你会在档案里看到某些高天线防御的幸存者，却看不到大量已经坠毁、因而没有进入表格的同类。

这等于先按结果筛选样本，再问输入与结果有什么关系。条件化在“幸存”这个 collider 上，原本不存在或方向相反的关系也可能出现。于是：

历史相关：高 antenna DEF 与幸存同时出现
真实干预：降低 antenna DEF，让天线尽早损坏并进入 stealth，反而减少探测

论文附录给出的 family-level 最优设计正是 antenna_def = 0，理论最优生存率约 82%，而常见胜利阈值是 75%。这个反直觉结构不是装饰；它就是 benchmark 要捕捉的 causal trap。

论文到底在问什么

它问的不是“模型能否背出 selection bias 的定义”，而是：

当观察数据已经被筛选、关键变量可能隐藏、测量还带噪声时，LLM agent 能否通过主动干预恢复足以支持决策的机制？

一个评测单元包含什么

规模与场景

arXiv v1 描述了 14 个 scenarios，分属三个 family：

• Antenna Trap：幸存者筛选制造“保护天线”的错误直觉；
• Deployment Zone Trap：隐藏任务区同时影响可见高度和真正致命的 EMI，形成虚假高度效应；
• Weather Noise：Stage 1 与 Stage 2 的天气分布变化，且雨天测量噪声为 20%、晴天为 5%。

这些 family 再加入 high DEF、local optima、no history、no selection bias、Simpson's paradox 和 environment shift 等变体，共形成 14 个场景。

两阶段预算

1. Stage 1 / Exploration：总计 200 架无人机，最多 10 次 deployment call；每次由 agent 决定配置和批量。
2. Stage 2 / Evaluation：提交一个不可撤销的 final design，在 1,000 架无人机上评估。

大多数场景胜利阈值是 75%；Weather Noise 是 55%。附录给出的 family-level 理论最优生存率约为 82%、80% 和 78%。作者还用重复模拟核对了解析值，理论与经验结果相差约 ±2–3 percentage points。

一局游戏可以压缩成下面这条证据链：

读取被筛选的历史记录
-> 提出一个可被推翻的机制假设
-> 选择只改变关键因素的实验设计
-> 部署小批无人机并读取生存、hit count 与环境信息
-> 用多批对照区分相关路径与干预路径
-> 在预算耗尽前选择 final design
-> 提交机制报告
-> 用 1,000 架新无人机和隐藏 SCM 检验

论文主要比较两种执行方式：

• Prompting：一次上下文中给出可用信息，模型写 Python 调用 client；
• Agentic：多轮 ReAct tool calling，每次行动前强制写 reasoning，并要求至少部署一次才能提交。

另有一个 OpenCode coding-agent harness，在 5 个模型、14 个场景、每格 3 次的子实验中与前两者比较。

这里有一个重要解释边界：Prompting 和 Agentic 不只差“是不是多轮”，还同时差工具访问、ReAct 格式、exploration guard 和控制流。因此两者分数差不能被当成一个干净的“agentic causally improves performance”实验。

下面是为理解机制而构造的两批小实验，不是论文中的真实得分。

第一步：被幸存者档案骗到

初始档案只列出 40 架幸存者：

如果忘了分母，最自然的说法是：“高 DEF 在幸存者中更多，所以高 DEF 保护天线并提高生存。”

但这张表没有告诉你每种设计原来部署了多少架，也没有告诉你谁因为发射信号而被探测后坠毁。它不是一个可用于比较生存概率的完整样本。

第二步：主动做一个干预对照

agent 保持其他六个部件相同，只改变天线防御：

这一步并未自动证明全部 SCM，但它已经推翻了“高天线防御必然提高生存”的简单故事。

第三步：用机制产生新预测

假设是：

低天线防御 -> 天气更容易破坏天线
            -> 无信号 emission
            -> 探测概率降低
            -> 生存率提高

那么新预测应当是：低 DEF 组的“天线受损”会更多，但“敌方探测”和“战斗命中”会更少。如果后续数据只看到生存提高、探测却不下降，原假设仍需要修正。

这就是论文希望 agent 完成的最小 causal loop：不仅找到一个数值较好的设计，还要提出能被新数据否证的中间机制。

结果一：最终表现离解析最优仍有明显差距

arXiv v1 对 30 个 LLM agents、14 个场景、两种主要执行模式各做 3 次独立 trial。论文摘要报告：最佳模型平均生存率为 68.0%，而不同 family 的解析最优约为 78–85%。作者的显著性分析称，各模型仍低于相应胜利阈值。

这个结果证明的是在该协议下没有稳定过关，不是证明每次 trajectory 都失败，更不是证明所有现实科学任务都同样困难。

结果二：selection bias 不是一个抽象标签，它真的改变表现

移除 selection bias、改为 balanced sampling 后：

这项对照是论文较有说服力的证据之一：至少有一部分失败确实与被筛选数据有关，而不只是游戏本身难。

结果三：找到好设计与说出机制明显分离

• 论文摘要称，只有约 5–7% sessions 在 causal-reasoning rubrics 上得到 credit。
• 在 Deployment Zone family 中，只有 2 条 trajectory（约全部 trajectory 的 0.3%）达到 Optimal tier，而且两条的 causal reasoning 仍是 0。
• Agentic sessions 中，68.4% 被归为 No Engagement；24.1% 属于 Nascent Reasoning，但这一组 causal reasoning 平均也只有 7.6%。

这支持“任务成功不足以作为机制理解证据”。但 rubric 本身由 LLM judge 给分，所以最好与下一层行为证据一起看。

结果四：真实行动路径也暴露出搜索失效

作者对 504 个 Antenna Trap agentic sessions 的七维配置序列做 judge-independent 分析：

• 74.4% 存在 component lock-in，即至少一个部件只试过不超过两个不同值；
• 12.5% 停在过高的 antenna DEF 区间，没有达到最优所需的低值；
• 9.7% 曾经找到 antenna_def <= 5，最终却又漂回 >= 10。

这使“报告写得不好，但 agent 心里其实懂了”的替代解释更难成立：部署路径本身也显示它没有稳定利用已经发现的信息。

结果五：更多 reasoning token 或更强 scaffolding 不是稳定解药

GPT-5.5、High、XHigh 的平均生存率分别约为 66.8%、67.8%、65.4%；DeepSeek-V3.2 与 Think 版本约为 58.7% 和 59.1%。这些差异小于各模型 4–10 pp 的标准差，论文据此判断没有一致的 reasoning-budget 收益。

OpenCode 子实验相对 ReAct 平均提高 6.9 pp，但仍低于胜利阈值。它说明 harness 会影响表现，也提醒我们不能把低分只归因于 backbone；同时，这并不是把所有 scaffold 因素逐一隔离的因果消融。

结果六：评测协议本身也会成为 agent 的攻击面

早期 agent-facing API 泄漏了 hidden scenario name。13 个受影响模型在泄漏 trial 中的存活率平均被抬高 18.5 pp，单模型提升 9–28 pp。作者随后隐藏名称并隔离 admin/config endpoint，正文主要数字来自 hardened setup。

此外，有 39 个 sessions 在实际成绩低于阈值时仍宣布任务成功。这个发现特别重要：在 agent benchmark 中，自我报告既不是完成证明，也不是有效停止条件。

把证据放在正确层级

CausalGame 的设计优点在于，它没有把“会不会说 causal words”当成因果能力。隐藏 SCM 固定了世界，agent 必须用干预结果对抗误导性的观察数据；最终 1,000 架机队又给出独立于语言叙述的硬结果。论文还主动报告 API 泄漏与 false victory，而不是把异常高分静默纳入排行榜，这提高了研究可信度。

它最值得保留的思想是三分法：

找到一个有效动作
≠ 识别产生结果的机制
≠ 能可靠报告自己的证据状态

但“causal thinking”仍是一个复合 construct。成功需要机制识别，也需要实验预算分配、控制变量、数值分析、工具操作、记忆和停止判断。当前实验能说明这些能力的组合失效，却还不能唯一定位哪一种内部能力缺失。

更准确的总评是：它是一个很有诊断价值的受控 benchmark family，并用多种外部证据展示了 mechanism-performance gap；它还不是对通用科学因果能力的完整测量学验证。

1. 世界仍然小而封闭。 14 个场景来自三个紧密相关的 family，隐藏机制、动作空间和评分规则都由模拟器预先规定，离开放式科学问题还有很大距离。
2. “causal thinking”与其他 agent 能力纠缠。 低分可能来自因果识别，也可能来自探索策略、数值统计、状态跟踪、tool-use error 或过早停止；benchmark 尚未把这些因素完全拆开。
3. 缺少同预算的人类专家基线。 解析最优说明世界可解，但不告诉我们在相同历史记录、200 架探索预算和 10 次调用下，人类研究者能达到多少。
4. 缺少经典算法的强对照。 Random、Uniform High 和 No-Explore LLM 可以校准下界，却没有回答一个显式 active causal discovery / Bayesian experimental design agent 在相同信息接口下会怎样。
5. 执行模式比较不是干净消融。 Prompting 与 Agentic 同时改变工具、格式、控制流和 exploration guard，不能把分差单独归因于多轮交互或 ReAct。
6. rubric 依赖 LLM-as-a-judge。 虽然三位 judge 的平均 ICC 为 0.75，但 causal-reasoning 三项只有 0.61–0.64，且 87–92% sessions 得 0，稀疏分布会让判断更脆弱。
7. 每格只有 3 个 trial。 论文提供标准差与置信区间，但 agent trajectory 的随机性和 4–10 pp 的常见波动意味着细小模型排名不应被过度解读。
8. prompt 已经告诉 agent 要警惕隐藏因素。 真实科学中，研究者往往连“存在 trap”都不知道；这里测的是被提示后的诊断能力，不是完全自发的问题发现。
9. 报告正确不等于结构被唯一恢复。 即使 agent 说出“天线发射导致探测”，它也未必恢复完整 SCM、噪声分布或所有反事实；rubric 评的是任务相关机制，而非结构识别定理。
10. 版本数字存在漂移。 ICML 官方页面的较早摘要写 16 个模型，project/leaderboard 页面写 29，arXiv v1 写 30。读者必须把 venue snapshot、live project state 和 paper v1 分开。
11. 泄漏暴露了交互评测的普遍脆弱性。 hardened setup 修补了已知 endpoint，但任何可调用工具、错误信息或文件系统都可能形成新的 side channel。
12. 现实外推尚弱。 无人机故事复刻了 selection、confounding 和 noise 的形式，却没有真实学科知识、实验伦理、不可逆成本或实验设备故障。

• 让因果研究者、普通研究者和非专家在相同预算下作答，建立 human difficulty curve；
• 加入显式 active causal discovery、Bayesian optimization 和纯搜索 agent，分别校准“机制识别”与“黑箱优化”能走多远；
• 做 factorial ablation，逐一固定 tool access、ReAct、exploration guard、history format 和 token budget；
• 按 causal mechanism 而不是场景名字切分训练/开发/测试，检验新 graph、新噪声和新 action semantics 上的迁移；
• 在最终设计之外，要求 agent 预测未见干预、绘制局部 graph、报告置信度，再看这些机制预测是否跨场景校准；
• 用人工双盲评分与 executable causal tests 复核 rubric，尤其复核当前大量零分的 causal-reasoning 项；
• 系统化 fuzz API、文件系统、错误信息和 endpoint metadata，并把 anti-leak suite 作为持续评测的一部分；
• 构造表面轨迹几乎相同、但隐藏机制不同且最优 repair 相反的 paired worlds，逼迫 agent 先诊断 regime 再行动。

它可以支持：

• 互动式、带隐藏偏差的环境揭示了静态 causal QA 难以测到的 agent 失败；
• 在本文协议下，被测 frontier LLM agents 没有稳定达到解析最优或胜利阈值；
• selection bias 对平均表现有可测影响；
• 生存率、机制解释与行为路径提供互补而非可互换的证据；
• 更高 reasoning budget 没有在所测模型对中产生一致收益；
• agent benchmark 必须把 API 泄漏、旁路搜索和虚假完成声明当成一等风险。

它不能支持：

• 所有 LLM 在所有科学领域都不具备因果推理；
• 得分较低唯一是因为模型内部没有 SCM；
• 任意高生存率 trajectory 都只是运气；
• ReAct 必然不如或优于 single-turn prompting；
• 14 个模拟场景可以替代真实实验室验证；
• 只要把 causal rubric 加进评测，就已经测到了完整科学理解。

这篇论文为当前的 agent-failure / operational-regime 研究设了一条很高的邻近基线：仅仅说“我们也测试隐藏偏差下的 causal agent”已经不够，因为 CausalGame 已经把主动实验、隐藏 SCM、最终决策和机制 rubric 组合起来。

真正值得继续推进的残余问题是：

当两个 agent failure trace 在表面上相同，
但背后的 source access、tool state、provider health 或 projection regime 不同，
能否先识别 active regime，再选择只在该 regime 下有效的 repair？

CausalGame 的无人机场景是“从干预恢复游戏机制”；当前研究可以更窄地研究“从运行轨迹诊断 operational mechanism-regime”。二者共享同一个纪律：不能只看最终答案，必须把证据状态、机制路径、干预和反事实拆开。

它还带来一个直接的评测原则：final success 与 causal understanding 必须双计分。 一个 repair 碰巧恢复服务，不代表 agent 找到了真正原因；一个报告说对原因，也不代表修复已经在独立运行中得到验证。

1. Introduction 与 Figure 2：先理解作者所谓 causal thinking 为什么不等于相关性拟合。
2. Section 3.1、Figures 3–4：掌握无人机对象、两阶段协议和两个主要 trap；这是全文的 mental model。
3. Section 3.2 与 Table 2：把 selection bias、measurement error、hidden confounder 对应到生成机制，而不是只记名词。
4. Section 4.2、Figures 5–9：看主结果、survival 与 rubric 的分离、reasoning scaling 和 scaffold 对比。
5. Section 4.4、Figures 11–13：重点看 judge reliability 与 configuration-path analysis；这部分决定论文的诊断是否站得住。
6. Section 4.5、Figure 14：不要跳过 hacking 与 false victory，它们是 agent evaluation 最可迁移的发现之一。
7. Appendix C.2–C.4、Tables 6–8：核对 14 个场景、结构方程、最优设计和阈值，避免把故事当成随意的游戏包装。
8. Appendix A：最后读作者承认的边界，再回头判断正文中的“causal thinking”有多宽。

• Official ICML 2026 page: https://icml.cc/virtual/2026/poster/63530
• arXiv abstract and version history: https://arxiv.org/abs/2607.04293
• Paper PDF, v1 submitted 2026-07-05: https://arxiv.org/pdf/2607.04293
• Official project and live leaderboard: https://causalgame.github.io/
• Official code: https://github.com/viewsetting/CausalGame
• Public projection: https://wehub.us/gong/10-paper-portfolio/causality-scout/paper-digests/a1-causalgame/

Source-state boundary checked on 2026-07-10:

ICML venue abstract: earlier 16-model snapshot
project / code / leaderboard: live 29-model projection
arXiv v1 paper object: 30-model full-paper analysis
this guide's detailed numeric claims: arXiv v1 unless explicitly labeled otherwise

本文没有运行 CausalGame、重现排行榜或验证供应商模型快照；它对论文 PDF、附录、官方 venue page、project page 与 code surface 做了交叉阅读。因 live leaderboard 会继续变化，模型排名应回到 project page 复核，论文论证则应回到固定版本 PDF。