Cycle-of-Science: Reliable Reasoning through Counterfactual Verification for Agent Decision Making

误会一：名字叫 Cycle-of-Science，就已经覆盖完整科学发现

没有证据支持。官方摘要明确描述的是一个 agent decision framework：Hypothesis → Experiment → Validation → next step。它可能覆盖科学推理的若干结构，但公开材料没有证明它完成了问题发现、真实实验设计、仪器执行、数据清洗、统计检验、同行评议、复现与知识更新的完整 cycle。

误会二：counterfactual sample 自动等于真实实验

也不等于。sample 可以来自环境、模型生成器、重放、模拟器或数据重采样；这些来源有完全不同的证据强度。公开摘要没有说明 sample 如何产生、是否共享同一 unit、是否由可验证 SCM 生成。

误会三：benchmark task performance 高就证明发现了真实因果机制

不成立。task score 可能来自更好的搜索、更多推理步骤、额外 causal knowledge、数据泄漏或更谨慎的 action filtering。要证明 mechanism discovery，至少需要独立检验 hypotheses 是否正确、intervention prediction 是否跨环境成立，以及错误机制能否被系统拒绝。

误会四：ICML 接收等于公开结果已经可审计

接收证明它通过了会议评审流程，不替代公开证据。当前官方页面只给 qualitative abstract；没有可读的 methods、tables、appendices 或 uncertainty definition。本文不会把“superior performance”扩写成不存在的数字。

因此，这份导读的结论强度只能是：CoS 已把“counterfactually verified agent decision”带进 ICML 2026 的正式议题；完整方法与实证质量仍等待 primary paper 公开后审计。

作者主页展示了一张植物生长示意图，可以帮助理解方法意图。左边的 correlation-based agent 看到肥料放在植物旁边，就直接使用肥料，等待一天后植物仍未生长。

右边的 CoS agent 不立刻把“肥料在附近”当成原因，而是列出多个 candidate hypotheses：

H1: 水影响生长吗？
H2: 光影响生长吗？
H3: 肥料影响生长吗？

然后分别构造 no-water、no-light、no-fertilizer 的 counterfactual experiments，比较干预后结果，再让通过 threshold 的 hypotheses 进入下一步。

这个图最重要的不是“植物”故事，而是把一条经验拆成竞争机制：

surface correlation:
  肥料出现与生长成功同时发生

candidate mechanisms:
  water -> growth
  light -> growth
  fertilizer -> growth

verification question:
  移除每个因素后，结果会怎样？

它把“复用成功案例”变成“提出可被推翻的解释”。但这只是作者提供的 method illustration，不是公开 benchmark 的真实 task description，也没有结果数字。

可从官方摘要确定的问题

论文针对的是：

agent 如何避免从相似经验中被 correlation 欺骗，并在采取下一步行动前识别真正有效的 causal dependency？

可确定的对象链

目前不能安全补全的实验设定

官方公开材料没有回答：

• 用了哪些 benchmark、多少 tasks、哪类 agent environment；
• causal knowledge 来自 graph、retrieval、LLM prior 还是人工规则；
• counterfactual samples 是模拟、生成、检索还是真实环境 intervention；
• intervention effect 的目标量、估计器和置信度是什么；
• policy uncertainty 如何测量，threshold 随 uncertainty 朝什么方向变化；
• 每轮生成多少 hypotheses、如何控制多重比较、何时停止；
• 比较了哪些 baselines，是否匹配 token、tool 与 environment-call budget。

所以本节只能给出 object contract，不能伪装成完整 experimental setup。

下面是官方摘要逐句可以恢复的 pipeline：

agent decision context + past experience
-> use causal knowledge to generate initial hypotheses
-> design experiments around candidate causal pathways
-> obtain counterfactual samples
-> run causal analysis to quantify intervention effects
-> validate / reject hypotheses
-> calibrate validation threshold using policy uncertainty
-> use validated hypotheses for the next agent step
-> repeat the cycle

这条流程的科学性取决于每个箭头，而不是框架名字：

1. Hypothesis quality：候选集合是否包含真机制，也包含有竞争力的替代解释？
2. Experiment validity：counterfactual sample 是否真的只改变目标因素？
3. Effect identification：intervention effect 能否从现有样本识别？
4. Validation calibration：threshold 是否控制 false acceptance / false rejection？
5. Decision linkage：validated hypothesis 是否真的改变下一步，而不是只生成一段解释？
6. Iteration stability：前一轮错误是否会在后续自我强化？

官方摘要没有公开这些模块的算法细节，所以这六项是 full-paper refresh 时必须核验的问题，不是本文声称论文已经全部解决的事实。

下面是为理解流程构造的玩具实验，不是论文 benchmark，也不是论文结果。

第一步：从一条误导经验开始

agent 的 memory 里有 10 次成功种植记录：10 次都有肥料，9 次有水，9 次有光。它可能直接提取：

experience rule: fertilizer -> growth

但这 10 条记录没有对照组，水、光和肥料几乎同时出现，谁是必要因素无法区分。

第二步：提出竞争 hypotheses

H_water: 有水会提高生长率
H_light: 有光会提高生长率
H_fertilizer: 有肥料会提高生长率

第三步：做单因素反事实干预

保持其余条件相同，每种设置模拟 20 次：

第四步：验证与决策

如果这个玩具世界把 \(|\widehat{\Delta}|>0.30\) 当作暂时通过阈值，那么 water 与 light 通过，fertilizer 不通过。下一步 action 应优先补水和光，而不是继续加肥。

第五步：保持证据边界

即使如此，agent 仍不能说“已经发现植物生长的一般规律”。它只能说：

在这个模拟器、这个 outcome、这个 intervention range 和 20 次样本下，
移除水或光带来大幅下降，移除肥料没有观察到同等幅度的下降。

样本是否共享同一噪声、是否存在 water×light interaction、阈值如何与 policy uncertainty 结合，都需要更完整设计。这个例子展示 CoS 的理想逻辑，也同时展示为什么“有一轮 counterfactual samples”仍不等于真实科学发现。

当前公开 primary source 中有多少可核验结果？

可核验结果表：0
可核验 performance 数字：0
可核验 benchmark 名称：0
可核验 model / baseline 数：0
可核验 variance / significance：0

ICML 官方摘要只有一句定性结果：experiments on benchmarks achieve superior performance over state-of-the-art approaches。没有 effect size，就无法判断是 0.2 point 还是 20 points；没有 per-task 表，就无法判断 improvement 是否集中在一个 benchmark；没有 budget，就无法判断收益是否来自更多 samples 或 calls。

一张结果证据状态表

这张表不是给缺失结果找借口，而是规定未来更新时的证据门槛。只补一个总平均分仍不足以把本导读升级成完整 paper guide；至少要同时恢复 task contract、baseline fairness、component attribution、uncertainty calibration 与 mechanism-validity evidence。

当前真正拥有的证据层级

benchmark performance、cycle coverage 与 discovery 必须分开

1. Benchmark task performance：在已定义 task metric 上分数更高。
2. Scientific cycle coverage：系统实际执行了 hypothesis、experiment、analysis、validation 等多少环节。
3. Real discovery：产生原先未知、经独立实验和同行检验仍成立的新知识。

即使将来 full paper 证明第 1 项显著提升，也不能自动推出第 2 项完整，更不能推出第 3 项。当前公开摘要连第 1 项的具体数字都尚不可审计。

CoS 的研究直觉是好的：agent memory 中的成功案例不是 causal evidence，下一步 action 应当由可检验 hypothesis 与 intervention evidence 约束。它也比普通 reflection loop 多了一个关键要求：不是“反思自己为什么错”，而是构造 counterfactual contrast 并量化 intervention effect。

policy uncertainty 与 adaptive threshold 的加入也指出了一个真实问题：证据门槛不应与 decision uncertainty 脱节。可惜在没有公式、ablation 与 calibration plot 的情况下，我们还不知道它究竟是 principled risk control，还是一条经验 heuristic。

当前最重要的客观结论不是赞美或否定方法，而是保持 source discipline：

framework idea: clear and relevant
official acceptance: confirmed
implementation details: unavailable
quantitative superiority: asserted, not independently auditable
real scientific discovery: not established by the public source

因此，这份文件是来源受限导读，不是 A5-equivalent bespoke guide。等 fixed full paper 公开后，需要重新阅读而不是只补几个数字。

1. 当前公开证据不完整。 没有 full paper、results table、supplement 或 code，无法核验核心 quantitative claim。
2. counterfactual sample 的身份未知。 如果 samples 由同一个 LLM 想象，它们可能重复模型偏见，而不是提供外部 causal evidence。
3. causal knowledge 可能带来信息优势。 若 CoS 获得 baseline 没有的 graph、rules 或 retrieval，performance gain 不能只归因于 verification loop。
4. intervention effect 的 identification 未公开。 不知道 effect 是简单差分、SCM query、ATE、trajectory return 还是 LLM judge score，也不知道混杂如何处理。
5. policy uncertainty 未定义。 token entropy、action disagreement、value variance 和 epistemic uncertainty 不是一回事；threshold calibration 的含义取决于定义与 calibration quality。
6. 多 hypothesis testing 风险未知。 每轮探索许多 pathways 后挑最强 effect，若没有校正会产生 selection bias 和 false discovery。
7. 循环可能自我锁定。 错误 causal knowledge 会生成错误 hypotheses，错误 samples 又验证它们，形成 evidence self-confirmation。
8. task success 与 mechanism validity 可能分离。 更好的 action 可以来自额外搜索或保守过滤，未必代表识别了真因果依赖。
9. scientific cycle coverage 未知。 摘要只明确 hypothesis、experiment、validation，没有证据显示覆盖数据 provenance、复现、同行批评与开放世界 measurement。
10. 真实 discovery 未被公开证明。 benchmark improvement 与产生新科学知识之间还有独立实验、外部复现和领域评审三道门。
11. budget fairness 无法核验。 counterfactual generation 与 causal analysis 可能使用更多 tokens、environment calls、models 或 wall time。
12. threshold 可能掩盖而非校准不确定性。 如果 uncertainty estimate 本身失准，adaptive gate 会系统性放行错 hypothesis 或拒绝新机制。
13. benchmark 外推未知。 没有公开 benchmark 名称，就不能判断任务是 QA、game、web agent、code agent 还是 embodied decision。
14. author metadata 有漂移。 ICML page 列 Ruojie Zhang、Wencheng Zhu、Dayong Zhu；作者主页还列 Peiyuan Jiang。最终 citation 应等待 proceedings metadata。

• 公开完整 paper、code、prompts、benchmark splits、model snapshots、seeds 与 cost accounting；
• 在已知 SCM 的 paired worlds 中直接测 true/false hypothesis acceptance、effect-estimation error 与 mechanism recovery；
• 分别做 causal knowledge、counterfactual samples、effect analysis、adaptive threshold 的 factorial ablation；
• 给所有 baselines 相同 knowledge、token、environment-call 与 wall-clock budget；
• 将 counterfactual samples 与真实 environment interventions 对比，测 simulation-to-reality gap；
• 报告 policy uncertainty 的 reliability diagram、risk-coverage curve 与 threshold sensitivity；
• 控制多重 hypothesis testing 的 false discovery rate，并报告 hypothesis search space 大小；
• 测 adversarial causal knowledge 与 misspecified simulator，检查循环是否会自我纠错而非自我确认；
• 分别评分 final task success、mechanism accuracy、counterfactual calibration 和 evidence citation；
• 在 benchmark 外做一个真正的 prospective discovery：预注册 prediction、执行新实验、由独立团队复现。

当前公开来源可以支持：

• ICML 2026 接收了一项名为 Cycle-of-Science 的 agent-decision work；
• 该 work 提出 Hypothesis → Experiment → Validation 的迭代框架；
• initial hypotheses 由 causal knowledge 引导；
• experiments 使用 counterfactual samples；
• causal analysis 用于量化 intervention effects；
• validation threshold 会根据 policy uncertainty 自适应调整；
• 官方摘要声称 benchmarks 上优于 SOTA。

当前公开来源不能支持：

• 任何具体提升百分比、模型排名、显著性或 benchmark 覆盖数；
• counterfactual samples 来自真实 intervention；
• adaptive threshold 有正式 calibration guarantee；
• CoS 恢复了真实 SCM 或排除了所有替代机制；
• CoS 覆盖完整 scientific method；
• CoS 已产生、验证或复现一项真实新科学发现；
• 当前 portfolio 已复现或超过 CoS。

CoS 已经占住一个很宽的 novelty lane：

counterfactual verification for agent decisions

因此当前 operational-regime / repair 研究不能只说“我们也让 agent 在行动前做 counterfactual reasoning”。更窄、也更可辨识的问题应是：

同一个 surface failure trace 可能由多个 hidden operational regimes 产生；
先用 source / tool / runtime evidence 区分 active regime，
再选择只在该 regime 下有效的 repair，
并报告 named-regime counterfactual。

CoS 的候选对象是“什么 causal dependency 支持下一步 action”；当前研究的残余对象是“什么 mechanism-regime 让这个 repair 有效”。只有当 regime diagnosis 改变 repair choice，这个区别才不是换词。

A3 还给 RQ21-style failure cases 一条好纪律：每次修复都要写 hypothesis、evidence、counterfactual contrast、uncertainty 与 next action。但在 full paper 公开前，不应复刻一个尚未可审计的 CoS algorithm，也不应声称超越它。

当前没有 full paper 可供真实 section / figure 路线，因此不要伪造 “Section 3 / Table 2” 导航。现阶段只能按官方摘要的逻辑顺序阅读：

1. 先读 problem sentence：passive reuse of similar experiences 为什么会把 correlation 当 causation。
2. 再读 framework sentence：Hypothesis、Experiment、Validation 是三项不同职责，不是普通 chain-of-thought。
3. 单独标出 causal knowledge：它是输入优势，也是可能的 leakage / misspecification source。
4. 单独标出 counterfactual samples：等待 full paper 核对生成器、unit identity 和 intervention semantics。
5. 单独标出 causal analysis：等待核对 effect target、estimator、uncertainty 与 assumptions。
6. 最后读 adaptive threshold：等待核对 policy uncertainty definition 与 calibration evidence。
7. 把 “superior performance” 暂记为 unquantified claim，不做模型或方法比较。

Full-paper refresh gate：只有当 ICML / PMLR / OpenReview 公开固定 PDF 后，才补充真实 section numbers、benchmark tables、model counts、effect sizes、ablations、appendix 与 code route；届时应整篇重审，而不是把当前摘要导读直接升级标签。

• Official ICML 2026 page and abstract: https://icml.cc/virtual/2026/poster/64408
• Official ICML 2026 downloads metadata surface: https://icml.cc/Downloads/2026
• ICML 2026 OpenReview group metadata (public_submissions: false when checked): https://api2.openreview.net/groups?id=ICML.cc/2026/Conference
• Auxiliary author page: https://wencheng-zhu.github.io/
• Author-page CoS illustration: https://wencheng-zhu.github.io/wencheng%20zhu_files/CoS.png
• Public projection: https://wehub.us/gong/10-paper-portfolio/causality-scout/paper-digests/a3-cycle-of-science/

Source boundary checked on 2026-07-10:

official venue title / acceptance / abstract: available
official full paper / results tables / supplement / code: not linked publicly
official poster or slides: not linked publicly
author-page illustration: available, method intuition only
performance numbers in this guide: none, because none are verifiable from current primary sources

这条边界会随 proceedings 发布而变化。当前文件明确不计为 bespoke-v1，也不应在公开总览中标成“A5 同等完整”；它的价值是让读者在 source gap 下仍能理解问题与核验清单，同时不把会议摘要扩写成虚构论文。