CausalGame: Benchmarking Causal Thinking of LLM Agents in Games
一句话:它不是问 LLM 会不会答因果题,而是把 agent 放进带 selection bias、measurement error、 hidden confounder 的互动 game,看它能否主动实验并恢复 hidden causal mechanism。
底层问题
一个 agent 看到一批似乎支持某策略的记录时,能不能先怀疑这些记录被 selection bias、measurement noise 或 hidden confounder 污染,再主动做实验找真正机制。
数据 / 实验设定
实验是一局 interactive causal game:先给 survivor-biased observations;agent 在预算内设计 trials 收集新 observations;hidden game SCM 规定真机制和陷阱;最后按 final design、explanation、win outcome 和 causal-reasoning rubric 评分。
为什么重要
它已经占住“agent 在 hidden causal trap 里做主动因果调查”的邻域,P17 不能只说自己评测 agent causal reasoning。
Portfolio 用法
P17 应对比为:同一 surface operational trace 背后是什么 active regime,以及哪个 repair 在该 regime 下有效。
Folded work
leaderboard 复查、代码运行、模型对比、把 P17 做成 game variant,全部等 owner 选 P17 后再展开。