CauSciBench: Evaluating LLM Causal Inference for Scientific Research

误会一：这是 causal discovery benchmark

不是。论文的主要对象是 causal effect estimation：给定一个研究问题和可用数据，估计 treatment 对 outcome 的效应。它不是主要从数据中恢复整张 DAG，也不是让模型判断一句话中谁导致谁。

误会二：模型只需要按要求执行指定方法

恰恰相反。作者会从问题描述中移除 ATE、IV、RDD 等直接提示。模型必须先理解研究设计，再选择 estimand、变量和方法，最后实现。

误会三：复制出原论文的数值就等于证明了因果结论

也不等于。CauSciBench 把 expert-replicated paper specification 当 reference answer，适合评测模型能否重建一条既定分析路径；但数值可复现不自动证明 instrument exclusion、parallel trends、no unmeasured confounding 等识别假设在现实中为真。

误会四：method selection accuracy 就是研究能力

同一类方法内部仍有 estimand、样本筛选、函数形式、controls、standard error 和实现细节。一个模型可以答对“IV”，却选错 instrument、漏掉 controls 或抽取错 coefficient。论文的数据正显示：method correct 之后仍有很大的 effect error。

因此，这篇论文测到的是端到端复现型 causal workflow competence，不是独立完成科学因果论证的全部能力。

最准确的总判决是：CauSciBench 很好地测到了“从问题到代码再到数值”的断裂，但还没有把“复现参考分析”升级为“验证真实因果真相”。

想象一位研究助理收到下面的任务：

问题：教育会怎样影响收入？

数据列：
educ   受教育年数
lwage  对数工资
exper  工作经验
black, south, married, smsa ...
nearc4 所在县是否有四年制大学

没人告诉他该用哪种方法。

弱分析可能直接回归：

但教育选择可能受能力、家庭资源或职业规划影响，这些因素也影响收入。educ 与误差项相关时，OLS coefficient 不能直接当作教育的因果效应。

CauSciBench 论文 Figure 2 给出一个来自 Card (1993) 的真实 benchmark example：reference analysis 使用是否临近四年制大学 nearc4 作为 instrument，目标效应为 0.132，standard error 为 0.049。

要走到这个答案，模型必须同时完成四个判断：

1. educ 是 treatment，lwage 是 outcome；
2. 朴素 OLS 可能有 endogeneity；
3. nearc4 是候选 instrument，而不是普通 control；
4. 代码必须提取 IV second stage 中教育的 coefficient，而不是 instrument 自身的 coefficient。

这就是 CauSciBench 的核心：表格没有自动携带研究设计，method name 也没有自动携带正确实现。

benchmark unit

一个 data point 有两类输入和两类 reference output：

所以真正被评估的对象不是“一张表”，而是：

研究语境 + 因果问题 + 数据字段
-> 变量角色与 estimand
-> 识别策略和估计方法
-> 可执行代码
-> effect estimate 与解释

三类来源

作者把三种难度来源合在一起：

1. Real-world studies：从有开放数据的真实论文中抽取问题；
2. Synthetic scenarios：先指定真实效应与生成模型，再由 GPT-4o 生成领域背景和变量名称；
3. Textbook / QRData examples：保留数值可评测的题，但移除原题中的方法或 estimand 提示。

author-hosted preprint 报告 367 个 evaluation tasks、100+ real-world papers、9 个 disciplines。当前官方 GitHub release 的 metadata 则列出 357 条：175 real、143 synthetic、39 QRData。两者是不同版本状态，不能把 release snapshot 的行数悄悄写回固定 PDF。

覆盖的方法

正文列出的主要方法包括：

• ordinary least squares / regression with controls；
• instrumental variables；
• regression discontinuity design；
• difference-in-differences；
• matching；
• propensity-score methods；
• generalized linear models；
• backdoor 与 frontdoor adjustment。

大部分任务采用 potential outcomes 视角；论文自己承认对 Pearl-style SCM 的覆盖有限。

reference answer 怎样形成

真实论文子集不是把论文 PDF 丢给另一个 LLM 自动标注。作者描述的流程是：

• 选取有公开数据、方法明确且适合当前预处理能力的研究；
• 专家抽取问题、变量角色和 reference result；
• 两位 causality experts 做两轮独立审核，达成一致才保留；
• 用 Python 手工复现原估计；如果大约 50 行代码内不能把结果复现到 10% error 以内，则排除。

这提高了 reference 的可执行性，但也会把 benchmark 偏向“数据干净、规格较简单、容易复现”的论文，而不是现实研究的完整分布。

模型一条完整 trajectory

读取 query 与 dataset description
-> 检查 columns、types、head、summary、missingness
-> 识别 treatment / outcome / candidate controls
-> 判断 estimand 与 identification strategy
-> 选择方法和 method-specific variables
-> 规划 preprocessing 与 model specification
-> 生成 Python
-> 在容器中执行；出错时最多重试 3 次
-> 抽取 effect、standard error、method、variables 和解释
-> 与 reference 分阶段比较

四种 prompting strategy

• Direct：直接要求选方法并输出可执行代码；
• Chain-of-Thought (CoT)：显式拆成变量、estimand / identification、implementation plan 和 code；
• Program-of-Thought (PoT)：给出带注释的程序骨架，让代码结构承担推理顺序；
• ReAct：模型自己循环 Thought、Action、Observation，直到提交答案。

这些都不是纯粹“零提示”。prompt 会列出可选方法与 approved Python packages，并允许执行错误重试。实验测的是在这套 scaffold 中完成 workflow 的能力。

两个主指标

Method Selection Accuracy：

Mean Relative Error：

注意每题的 relative error 被截断在 100%。因此 48.96% 并不表示“平均只差不到一半”这么简单：偏差两倍、十倍甚至符号完全错误的极端失败，在该项上都最多贡献 100%。另一方面，当 reference effect 接近 0 时，相对误差也会非常敏感。

当前 code release 还计算 method macro-F1、5% tolerance 的 effect accuracy、treatment/outcome accuracy、control overlap、completion rate 和 mean attempts。它们是 release evaluation surface，不应与 preprint Table 2 的 MSA/MRE 混成同一版本结果。

还有一个复现时很容易漏掉的细节：当前 repository 的 compute_method_accuracy 只把有 method prediction 的行放进分母，relative-error helper 也用 nanmean 跳过缺失 effect；而正文公式把分母写成全部 (N) 个 queries。当前主 evaluation script 又改为报告 effect accuracy 与 completion rate，而不是直接复刻 Table 2 的 MRE。也就是说，一次失败到底记为错误、100% error，还是从条件均值中排除，必须在复现前显式锁定，不能只看函数名猜测。

下面是一个为理解 workflow 构造的两阶段 IV 小例子，不是 CauSciBench 的真实题目。

问题

某研究想估计多上一年大学对 log wage 的影响。能力 A 同时提高教育年数 D 和工资 Y，但数据里没有测到 A。数据里有一个变量 Z：家乡是否临近大学。

A -> D -> Y
A ------> Y
Z -> D

如果 Z 除了影响教育外不直接影响工资，且与未测能力独立，它可以作为 instrument。

第一步：先算 first stage

临近大学者平均多接受 0.8 年教育：

这说明 instrument relevance 在样本中不是零。

第二步：算 reduced form

临近大学者的平均 log wage 高 0.064：

第三步：Wald ratio

在二元 instrument 的极简设定下：

也就是对受 Z 影响而改变教育选择的 compliers，教育每增加一年，log wage 估计增加约 0.08。

为什么答出 0.08 仍不够

模型还必须说明：

• Z 是否真的只通过教育影响工资？大学附近可能也有更好的劳动力市场；
• Z 与家庭背景是否独立？家庭可能主动搬到大学附近；
• first stage 是否足够强？
• 这个效应是 LATE 还是所有人的 ATE？

CauSciBench 主要检查能否走到 reference method 与 effect；上述 assumption audit、sensitivity 与 estimand communication 还不是它完整评分的对象。这正是阅读结果时必须保留的边界。

结果一：real-world tasks 的 gap 很大

preprint Table 2 覆盖 7 个模型与四种 prompting strategy。在 real subset 上：

• 最高 method accuracy 是 OpenAI-o3 + CoT 的 77.17%；
• 最低、也就是最好的 MRE 仍是同一组合的 48.96%；
• 多数组合的 method accuracy 约在 35–70%，MRE 经常超过 60%。

作为对照，synthetic subset 上 GPT-5-mini + PoT 的 method accuracy 达 93.48%，GPT-5-mini + Direct 的 MRE 低至 7.91%。这支持“合成设定明显低估真实 workflow 难度”。

但 real 与 synthetic 不只改变“现实性”：变量数、噪声、预处理、方法分布和文本复杂度都一起改变。因此 gap 不能唯一归因于某一种现实因素。

结果二：选对方法很重要，但远远不够

Appendix Table 4 把 effect error 按 method selection correct / incorrect 分开。对 real subset，选错方法相对选对方法会让 MRE 多出约 9.7–31.6 percentage points，取决于模型。

然而，即使 method correct，各模型在 real subset 上的 MRE 仍约 47.9–67.5%。这正是论文最有信息量的发现之一：

method label correct
不等于 variables correct
不等于 specification correct
不等于 code correct
不等于 coefficient extracted correctly

结果三：模型有明显的 OLS default

Figure 4 的 confusion matrices 显示，尤其是 GPT-4o-mini，会把许多 IV、RDD、DiD、GLM 或 propensity-score reference tasks 预测成 OLS。较大模型的偏置减弱，但没有消失。

这个现象支持“模型在复杂识别问题上退回熟悉、容易实现的默认方法”。不过 confusion matrix 只比较 reference label；它没有逐题证明 OLS 在所有被判错的 specification 中都科学上不可辩护。

结果四：没有一种 prompting recipe 普遍最好

同一个模型、同一种数据上，提高 method accuracy 的 prompt 不一定降低 effect error。最明显的例子之一是 OpenAI-o3 在 synthetic subset：

CoT 在这里更常选对 method，却产生了远差于 Direct 的数值误差。它提醒读者：structured reasoning 可能改善一层，又在代码、变量或结果抽取层引入新失败。

结果五：textbook 也不是“简单到已经解决”

textbook subset 的最佳 method accuracy 为 Qwen3-Next-80B-Instruct + PoT 的 84.62%，最佳 MRE 为 Grok-4-Fast + CoT 的 23.79%。它通常比 real subset 容易，却仍未接近可靠自动研究助理应有的稳定度。

把证据放在正确层级

CauSciBench 最强的地方，是把因果分析从“套一个 estimator”恢复为一个有前后依赖的 workflow。它让模型在没有方法提示的情况下识别变量角色、选择 identification strategy、写代码并解释结果；同时保留中间字段，使失败不必被压缩成一个最终数字。

真实论文、synthetic 和 textbook 三类来源也形成了很好的压力梯度。尤其是“synthetic 看似很强，real 明显下降”这个结果，对任何只在干净合成数据上宣称 causal agent 已经成熟的工作都构成直接反证压力。

但它的 ground truth 仍主要是“原论文采用的 reference analysis”。现实研究中，问题如何定义、estimand 针对谁、哪些 controls 合理、识别假设是否可信，常常本身就是争论对象。把单一 paper specification 变成 exact-match label，适合复现评测，却可能把合理的替代分析也判为错。

因此，最客观的评价是：CauSciBench 是目前很有价值的 end-to-end causal-analysis execution benchmark；它有力揭示了 workflow fragility，但尚未完整评估 scientific validity、assumption criticism 与不确定性沟通。

1. reference method 未必唯一。 同一个问题可能有多种可辩护的 estimand、adjustment set 或 estimator；exact method match 会把“不同但合理”与“明显错误”混在一起。
2. 复现 reference estimate 不等于验证因果识别。 专家复现保证代码能重现论文数字，却不独立证明 exclusion restriction、parallel trends 或 no unmeasured confounding。
3. 真实论文经过可复现性筛选。 只保留公开数据、规格较明确、约 50 行代码内能复现到 10% error 的研究，可能低估更混乱现实任务的难度，也改变方法分布。
4. pass@1 对非确定模型较脆弱。 论文为了预算采用一次采样，但 reasoning model 输出高度随机；单次结果不足以估计成功概率或稳定性。
5. MRE 截断会隐藏灾难性错误。 100% cap 提高鲁棒性，却让 2 倍与 100 倍偏差在 aggregate 中相同；接近零的 reference effect 又会使比例误差不稳定。
6. MSA 把方法当离散标签。 它不评价 identification assumptions、standard-error choice、functional form 或 estimand，也不能识别两个方法在特定 RCT 中给出近似等价答案。
7. 主要偏向 potential outcomes。 作者明确承认 Pearl-style SCM 覆盖有限，因此 benchmark 不能代表全部 causal reasoning paradigm。
8. binary treatment 与 tabular data 为主。 continuous / multivalued treatment、time-varying treatment、text、image 和高维 representation 基本不在主要评测面内。
9. 没有完整测试 assumption checking。 sensitivity analysis、placebo test、pre-trend、weak-instrument diagnostics、positivity 和 uncertainty communication 都是现实因果工作的重要部分，但未形成核心评分。
10. synthetic context 由 LLM 生成。 GPT-4o 生成场景和变量语义提高了表面多样性，也可能留下语言规律，使 synthetic performance 不能代表自然形成的研究文本。
11. contamination 很难排除。 论文提出按 publication time 分析，但 preprint、教材、代码和数据可能在不同时间进入训练语料，简单 cutoff 不能给出干净污染证明。
12. 文化与学科覆盖不均。 英文、主要来自西方机构和公开 repository 的论文，不能代表其他研究传统、数据治理与方法习惯。
13. 缺少同输入的人类基线。 不知道一个 causal methods 研究者只看 benchmark 提供的 description 和 table，是否也会因上下文缺失而偏离 reference。
14. prompting comparison 也混合多项设计。 CoT、PoT 与 ReAct 不只改变“思考方式”，还改变结构提示、代码规划、交互和错误恢复，分差不是纯净的认知机制消融。
15. paper 与 release 版本不完全一致。 preprint 写 367 tasks，当前 GitHub metadata 为 357；preprint abstract 写 6 个模型，而 Section 4.3、Table 2 和 ICML venue abstract 都是 7 个。读者必须保留版本边界。
16. 当前 release 不是一键完整复现包。 GitHub 提供 metadata、代码与 reference surface，但 CSV 需要另行从 Hugging Face 获取；本导读没有运行 Docker baselines 或重算表格。
17. paper 公式与当前 metric code 的 missing-value 语义不同。 当前 code 会在部分指标中跳过缺失预测并另报 completion；若不同时报告覆盖率，条件分数可能比“全部 query 计失败”的分数乐观。

• 让多位 causal researchers 在相同、被裁剪后的输入上独立作答，建立 human ceiling 与 disagreement rate；
• 为每题保留多个可接受的 method / estimand / adjustment set，由专家说明各自假设，而不是单一 exact-match ground truth；
• 做 oracle ladder：依次提供正确变量、正确 method、正确 specification、可运行代码，精确定位误差在哪一层出现；
• 增加 assumption-violation tasks，要求 weak-IV、pre-trend、overlap、negative control、placebo 与 sensitivity diagnostics；
• 同时报告 uncapped absolute error、sign error、calibration、confidence interval coverage 与 policy-decision loss；
• 用 post-training-cutoff、未公开脚本的新研究建立真正冻结的 contamination-resistant test；
• 覆盖 continuous / multivalued / time-varying treatment、missing-not-at-random、measurement error 和 high-dimensional modalities；
• 进行 repeated sampling 与 pass@k / stability curve，区分偶尔答对和可重复可靠；
• 加入 human-in-the-loop 条件，测量模型建议究竟帮助专家更快发现错误，还是只增加自动化偏见；
• 发布版本锁定的数据、模型 snapshot、完整 execution logs 和 metric manifest，使 367 / 357 等漂移可追踪。

它可以支持：

• 只评测“给定方法后的实现”会漏掉大量上游 causal workflow failure；
• 在所测协议中，真实研究任务明显比合成和 textbook tasks 更难；
• method selection error 是 effect error 的重要来源，但不是唯一来源；
• 模型系统性偏向易用的 OLS；
• structured prompting 的收益高度依赖模型、数据类型和目标指标；
• synthetic benchmark 上的高分不能直接外推为现实研究级因果分析能力。

它不能支持：

• 每个偏离原论文 reference method 的分析都科学上错误；
• 复现出 reference effect 就验证了真实 causal claim；
• OpenAI-o3 或任何单一模型具有 48.96% 的固定、跨任务“因果能力”；
• CoT、PoT 或 ReAct 在一般意义上必然优于 Direct prompting；
• 当前 LLM 不能在专家监督下成为有用的因果研究助手；
• 367 个任务覆盖了现实科学中 identification、estimation 与 communication 的全部难题。

CauSciBench 对当前 observational causal modeling 与 causal-agent 研究提出一个很重要的顺序约束：不要从 dataset 或 method 开始，要先锁定 question、estimand 与 evidence regime。

同一张表可以支持完全不同的问题：

教育对谁的收入效应？
某项政策在实施地区的 ATT？
临界点附近的 local RDD effect？
被 instrument 推动改变教育者的 LATE？

如果 question contract 不同，合理的变量、方法、外推人群和解释都会变。CauSciBench 已经测“能否从语境选 workflow”；当前研究仍可以进一步问：模型是否能在方法选择前明确报告 identification status、data role、target population 与无法由当前数据回答的部分。

它也给 operational-regime 方向一个类比：

empirical research:
  same dataset + different causal question -> different valid method

agent operations:
  same surface trace + different hidden regime -> different valid repair

二者共同反对一个捷径：看见熟悉表面就调用默认工具。CauSciBench 中的默认工具是 OLS；运行诊断中的默认工具可能是 restart、retry 或切 provider。真正的研究问题都是：当前证据究竟允许哪一种干预与结论？

1. Introduction 与 Table 1：先看它相对 QRData、RealCause、BLADE 多加了哪几层，不要从榜单开始。
2. Section 3 与 Figure 1：理解三类数据如何产生，以及 method hint 怎样被移除。
3. Section 3.2 与 Figure 2：用 Card example 锁定一个 data point 的输入、reference method、effect 和变量角色。
4. Section 4.1：逐一比较 Direct、CoT、PoT、ReAct 到底给了模型什么，不要把 prompt 名称当成充分描述。
5. Section 4.2：认真读 MSA 与 capped MRE 公式；这是正确解释 48.96% 的前提。
6. Table 2 与 Figure 4：先看 real-synthetic gap，再看 OLS confusion，而不是只记最佳模型。
7. Appendix H、Table 4：这是理解“method correct 仍然不够”的关键证据。
8. Appendix C 与 D：检查筛选、10% reproduction gate 和三类 sample question，判断 benchmark 代表了怎样的研究分布。
9. Appendix E：直接读 prompts，核对模型实际获得的 hints、packages 与 retry 权限。
10. Appendix B：最后读 limitations，尤其是 pass@1、binary treatment、tabular focus 和未评测 assumption checking。

• Official ICML 2026 page: https://icml.cc/virtual/2026/poster/60944
• Author-hosted preprint PDF inspected for sections, tables and appendix: https://zhijing-jin.com/files/papers/2025_CauSciBench.pdf
• Official code and released metadata: https://github.com/causalNLP/CauSciBench
• Official ICML project/data link: https://huggingface.co/datasets/causal-nlp/causcibench
• MPI-IS publication metadata for the earlier 2025 version: https://is.mpg.de/en/publications/acharyaetal25
• Current OpenReview forum lead, browser verification gated in this pass: https://openreview.net/forum?id=v9d4RqaPFO
• Public projection: https://wehub.us/gong/10-paper-portfolio/causality-scout/paper-digests/a2-causcibench/

Source-state boundary checked on 2026-07-10:

ICML venue page: current title, over 300 tasks, 7-model conference abstract
author-hosted preprint: 367 tasks, detailed Table 2 / appendices; abstract says 6 models but table contains 7
GitHub release at commit d9bb43a: 357 metadata rows = 175 real + 143 synthetic + 39 QRData
this guide's reported model results: author-hosted preprint Table 2 unless explicitly labeled otherwise

本文没有下载完整 CSV、运行 Docker、调用被测模型或重算 MSA/MRE。详细数字来自固定 preprint，release counts 来自官方 repository metadata；由于 title、task count 和 release surface 已发生版本变化，引用论文结论时应锁定 PDF，使用数据时则应锁定 repository commit 与 Hugging Face revision。