Abstract Counterfactuals for Language Model Agents

误会一：abstract counterfactual 就是让 LLM 改写一句话

不是。ACF 不是任意 prompt rewrite。它明确引入一个 context-dependent abstraction distribution：

并用它连接 factual observation、counterfactual abstraction 与 counterfactual action distribution。一个自然语言标签只有进入这条概率推理链，才是论文意义上的 abstraction。

误会二：论文证明了高层语义就是模型内部的真实 causal variable

没有。(Y) 是用户或辅助模型构造的 proxy，可以来自人工 annotation、监督 classifier，或 GPT-4o-mini 的 topic discovery。论文证明了该构造满足一种平均意义的 interventional consistency，也展示它在选定 metrics 上更稳定；它没有证明 (Y) 是 LM 内部唯一或真实的机制变量。

误会三：形式保证说明每个个体反事实都与抽象“完美交换”

也没有。Proposition 1 说明：把 ACF 的个体/条件反事实分布对 abstraction noise 的先验取平均，会回到新状态下的 interventional action distribution。它是 population-level coherence，不是对每一个 factual unit、每一种 classifier error 都成立的 pointwise semantic guarantee。

误会四：更一致的 profession / emotion 就一定更“真实”

一致性是论文选择的 desideratum，不是真值标签。某些干预本来就应该改变职业、情绪或伦理行为；如果方法无条件把 factual abstraction 拉回去，反而会过度保持。必须先问：这个 (Y) 在目标干预下究竟应该保持、改变，还是不确定？

因此，它最适合被称为一个语义层 counterfactual construction：它很好地修复了 token-label mismatch，但没有解决 counterfactual identity 与 abstraction validity 的全部问题。

想象同一个游戏先后出现两个菜单。

事实场景是“树林里遇到熊”：

agent 实际选择了 token 2，也就是“躲起来”。

反事实场景变成“丛林里遇到狮子”，菜单顺序也变了：

token-level counterfactual 会因为 factual token 是 2，提高新场景中 token 2 的概率；可它现在代表最鲁莽的动作。

ACF 则记录 factual observation 是 cautious，在新菜单里提高所有与 cautious 兼容的 action probability。它保留的是“这个 agent 在危险中表现谨慎”这项个体信息，而不是“它喜欢数字 2”。

论文的 agent SCM

在时间 (t)，状态包含 prompt 与模型参数：

agent 依状态和 action noise 选择文本动作，环境再转移：

作者再加入 abstraction variable：

这里 (Y) 同时依赖 action 与 state。这个细节很关键：choice 2 的意义不是字符串自己的固定属性，而由当前菜单、叙事和动作共同决定。

token-level baseline 为什么会偏

自回归 LM 的下一 token 可以用 Gumbel-Max SCM 表示：

观察到 token (x_k) 后，token-level counterfactual（TLCF）对 Gumbel noise 做 posterior inference。因为 factual token 已经赢过其他 token，它的 posterior noise 会偏向继续支持同一 token。因此 TLCF 天然提高 observed token 在 counterfactual context 中的概率。

在普通文本 continuation 中，这可能保留有用的个体信息；在 re-indexed game menu 或开放文本 action 中，它也可能只保留了一个已经失去原义的表面符号。

三个 evaluation setting

Bios 的 supervised profession classifier F1 为 0.85；GoEmotions emotion classifier F1 为 0.63。unsupervised 版本用 GPT-4o-mini 先发现 topics，再逐条分配 topic。

official supplemental scripts 显示，每个 text-generation configuration 会为每个输入采 150 个 generation samples，并生成 30 个 posterior counterfactual samples。作者报告每条 configuration pipeline 在 A40 48GB 上约需 4 小时，classifier fine-tuning 约需 1 小时。

ACF 的三步推理

已知 factual state (s)、动作 (a)，以及它的 abstraction observation (y)。目标是在新状态 (s') 下产生 action (A')。

1. Abduction on abstraction noise：推断 (U_Y\mid s,y)。注意它只保留 observation (y)，不对底层 token/action noise (U_A) 做 abduction。
2. Counterfactual abstraction：把同一 posterior abstraction noise 放到 (s') 中，得到 (P(Y'\mid s'))。
3. Map back to actions：用 Bayes rule 在新语境中寻找与 (Y') 相容的动作：

最后对 (Y') marginalize，得到完整 (P(A'\mid s'))。action distribution (P_A) 可以通过 black-box sampling 估计；若 choice-based action 只需一个 token，也可以直接使用 softmax probability。

一张必须分清的“交换图”

读者很容易把 ACF 想成下面两条路径一定逐点相等：

(s, a) --abstract--> y
  |                    |
change to s'      abstract counterfactual
  |                    |
(s', a') <--map back-- y'

论文构造的是 distributional compatibility：先在 (Y) 层传播 factual information，再在 (s') 中按 (P_Y(Y'\mid s',A')) 重加权 action。

它没有证明一个更强的等式：

也没有证明 learned classifier (alpha) 与真实环境 mechanism commute。把 Proposition 1 读成这种逐点 commutation guarantee，会高估论文理论结论。

Proposition 1 真正保证什么

对任何 action (a')，把由不同 factual abstraction-noise realization 得到的 ACF distributions 对 (P_{U_Y}) 取平均，有：

直观上，个体反事实在总体上不会凭空改变目标 intervention 的 action distribution。它是反事实与干预之间应有的一致性校准。

但它不保证 (Y) 有语义、granularity 合适、classifier 无偏，也不保证一次具体 counterfactual sample 是真实世界同一个体会采取的动作。

下面给一组为理解算法构造的数字，不是论文 Figure 1 的实测概率。

factual observation

树林场景中，agent 的 action distribution 是：

我们观察到 2，因此 factual abstraction 是 (Y=\text{cautious})。

新场景下的普通 intervention

丛林场景中，如果不使用 factual observation，LM 给出：

所以普通 interventional distribution 中，cautious 只有 0.20。

TLCF 会做什么

因为 factual token 是 2，TLCF 倾向提高新场景 token 2 的概率。它保留了 token identity，却把“躲藏”变成了“对抗”。

ACF 会做什么

假设 abstraction-level abduction 后得到：

新菜单里只有 action 1 属于 cautious，因此 map-back 后可以得到：

后两项按原本 0.30:0.50 的比例分配剩余 0.25。ACF 没有说“永远选 action 1”，而是把 observed cautiousness 转成新 action space 中可解释的概率约束。

这个例子也暴露出方法边界：如果从熊换到狮子后，合理的人本来就会改变风险偏好，那么强行保持 cautious 可能不是正确个体反事实。正确与否取决于 (Y) 是否真是跨 context 稳定的 unit-level characteristic。

结果一：Bios 中 profession side effect 大幅减少

在 GPT-2-XL gender-steering、250 个 biographies 上：

ACR 表示 factual 与 counterfactual 的最可能 abstraction 是否改变，越低越好；CPIR 表示观察到 factual abstraction 后，它在 counterfactual 中是否比普通 intervention 更可能，越高越好；ST 比较同一 factual state 下多次 counterfactual samples 的 embedding similarity。

ST 的 paired tests 均有 (p<0.001)；supervised 与 unsupervised 的 t-statistic 分别为 10.95 和 13.04。Figure 5 还显示 ACF 与 TLCF 的 gendered pronoun distribution 相近，说明 profession consistency 的改善没有明显把 gender intervention 整体撤销。

结果二：GoEmotions 中 supervised 与 unsupervised 都改善一致性

四项 ST comparison 都有 (p<0.001)，paired t-statistics 分别为 10.16、8.4、13.6 和 11.8。即使 unsupervised abstraction 较弱，ACF 在这些 metrics 上仍优于 TLCF。

结果三：MACHIA VELLI 提供的是 case evidence，不是 aggregate benchmark win

Section 4.1 用 OLMo-1B 与固定 morality annotations 展示多个具体 scene：当 factual 与 counterfactual menus 的 token index 不再对应同一伦理行为时，ACF 把概率推向具有相同 physical harm、manipulation 或 killing annotation 的新动作，而 TLCF 推向相同数字 token。

由于环境是 deterministic，作者明确只给 illustrative cases，没有报告全数据集 aggregate performance。不能把这些 figures 写成“ACF 在 MACHIA VELLI 上提高了 X%”。

四层证据不要混在一起

这篇论文最好的洞察非常朴素，也非常重要：agent action 的因果单位不一定是 token。 在 LM agent 中，用户关心的对象往往是意图、策略、伦理属性或互动角色；token 只是这些对象在一个具体 context 中的编码。

方法也相当干净：它不要求进入 LM 内部恢复 token noise，而以 black-box sampling 估计 action distribution，再用 abstraction distribution 重加权。这让 supervised domain knowledge 和 unsupervised concept discovery 都能接入同一框架。

但 ACF 的优势与它的评价目标高度一致：方法被设计来保持 (Y)，ACR 和 CPIR 又主要测是否保持 (Y)。如果 classifier、topic discovery 或 abstraction choice 有误，数字仍可能很好看。真正困难的问题从“token 是否一致”转移成“哪一个 abstraction 应该跨 intervention 保持”。

因此，最客观的评价是：ACF 对 token-level counterfactual 的语义错位给出了有理论一致性的修复，并在两个生成任务上提供了强 empirical signal；但 abstraction validity 与 unit-level counterfactual truth 仍然未被识别。

1. 没有个体反事实 ground truth。 Bios 和 GoEmotions 只能评估 consistency desiderata，不能观察同一个随机 unit 在另一世界真正会生成什么。
2. abstraction 是外加的建模选择。 profession、emotion 或 physical harm 可能是用户关心的维度，却不一定是产生 action 的机制变量，也不一定覆盖所有重要语义。
3. 保持 abstraction 不总是正确。 某些 intervention 本来就应改变职业描述、情绪或伦理选择；ACF 可能把真实 intervention effect 当成 unwanted side effect 拉回去。
4. 形式保证比语义主张窄。 Proposition 1 保证总体 distributional consistency，不保证 classifier 正确、路径逐点 commute、个体 identity 保持或 counterfactual 可识别。
5. 评价存在一定同构性。 supervised ACF 用 profession / emotion classifier 构造 (Y)，ACR 与 CPIR 又依赖同一 abstraction family；“被设计来保持的标签被更好保持”不等于独立语义验证。
6. classifier 本身不完美。 profession F1 为 0.85，emotion F1 仅 0.63；classification error 会同时影响 inference 与 evaluation。
7. unsupervised abstraction 依赖另一闭源 LLM。 GPT-4o-mini 既发现 topics 又分配 topics，API 只返回 top-20 token logits，作者还需过滤无效 ID 并加入 Other 类。
8. MACHIA VELLI 只有 illustrative cases。 没有 aggregate accuracy、utility 或 human preference，无法知道案例是否代表全部 games。
9. baseline 面较窄。 定量比较核心是 Ravfogel-style TLCF；没有与 semantic prompting、constrained decoding、classifier-guided rejection sampling 等更直接 baseline 全面比较。
10. 模型与语言覆盖有限。 主实验集中在 GPT-2-XL、Llama-3.2-1B、OLMo-1B 和英文数据，尚不能外推到强 instruction-tuned agents 或多语言 action spaces。
11. 计算成本高。 每个输入要多次 black-box sampling；supplemental 的 150 generation samples、30 posterior CF samples 让一项 configuration 约需 4 小时 A40。
12. 稀有 abstraction 可能采不到。 当目标 (Y') 在 (P_A(A\mid s')) 下概率很低，Bayes map-back 的 Monte Carlo estimate 会不稳定或成本陡增。
13. semantic tightness 可能奖励单调。 高 embedding similarity 可以表示语义稳定，也可能只是生成缺乏多样性；它不是 action quality。
14. 没有下游 agent outcome。 论文没显示 ACF 能提高游戏成功、安全决策、政策评估或责任归因准确率。
15. 规范性标签需要治理。 deception、power seeking、physical harm 等 abstraction 由谁定义，会直接决定反事实保留什么价值判断。
16. 公开 supplement 仍依赖外部资产。 代码给出脚本和环境变量，但 MACHIA VELLI、Bios、GoEmotions、model checkpoints 与 ClearML artifacts 需另行准备。

• 在已知 SCM 的 synthetic language environment 中生成真正的 unit-level abstract counterfactual ground truth，直接测 pathwise error，而不只测 category persistence；
• 明确检验交换图：先在底层执行 intervention 再 abstract，与先做 abstract counterfactual 再 map-back，比较何时近似 commute；
• 设计两类任务，一类中 (Y) 应保持、一类中 (Y) 应改变，防止方法把“永远保持”误当成通用成功；
• 用独立于 inference classifier 的 human annotations / evaluator 测 semantic validity，降低自我评价循环；
• 对 abstraction granularity、classifier calibration、label noise 和 Other mass 做系统 sensitivity analysis；
• 加入 semantic prompting、constrained decoding、rejection sampling 与 classifier steering 等强 baseline，并匹配 sample budget；
• 在真实 agent task 中测 downstream reward、safety violation、blame attribution 或 policy quality，而不只测文本 category；
• 测多步 trajectory counterfactual：一次 action abstraction 的变化是否在后续环境状态中保持 causal coherence；
• 同时编辑多个 abstractions，检查 composition、conflict resolution 和 locality；
• 扩展到强 instruction model、多语言、tool-call actions 与动态 API schema，并报告 cost-quality curve。

它可以支持：

• LM-agent action 不应默认等同于 surface token；
• 同一 choice token 跨 context 可能代表相反的高层行为；
• 一个 context-dependent abstraction distribution 可以把用户关心的语义带入 counterfactual inference；
• ACF 可以只用 black-box LM samples，不要求对白盒 token mechanism 做 abduction；
• ACF 满足 Proposition 1 的 population-level interventional consistency；
• 在本文 Bios / GoEmotions 设定与 metrics 下，ACF 显著优于所测 TLCF baseline。

它不能支持：

• learned (Y) 就是模型内部或现实世界的真实 causal variable；
• ACF 与底层 token SCM 对每个 unit 精确 commute；
• category 保持得越多，counterfactual 就越真实；
• 三个实验覆盖了所有 agent action / interaction abstraction；
• ACF 已改善真实 agent 决策、安全或责任归因；
• unsupervised topic discovery 消除了专家选择和价值判断。

A4 给当前 agent-failure / repair 研究一个重要警告：不要把 surface string、tool-call label 或 route name 自动当作 causal unit。相同文本在不同 runtime、source-access 或 tool-state context 中，可能代表完全不同的 operational action。

但当前研究需要比 A4 再多走一步。A4 的路径是：

surface language action
-> high-level action characteristic Y
-> counterfactual action under changed context

operational-regime 研究的路径应当是：

surface trace
-> candidate hidden regimes
-> active mechanism-regime
-> repair that is valid only in that regime
-> named-regime counterfactual

“retry”或“restart”可以像 token 2 一样，在 provider outage、stale projection、auth failure 或 local process crash 中有不同含义。一个真正有用的 abstraction 不能只把这些动作归为同一 label；它必须说明什么 regime 让这个 repair 有效。

A4 也提醒 DiscoSCM-style work：增加一个名为 regime 的 high-level variable 不足以证明它是机制。还需要测试它是否改变 repair prediction、是否在 paired traces 中可辨识、以及 abstraction-level counterfactual 与真实 runtime intervention 是否一致。

1. Introduction 与 Figure 1：先吃透 bear / lion 菜单为何让相同 token 变成相反行为。
2. Section 2、Equation 1：理解 Gumbel-Max token SCM，以及观察 token 为什么会提高它自己的 counterfactual probability。
3. Section 3、Figure 2：看 (S,A,Y) 三层对象；特别注意 (Y) 同时依赖 state 与 action。
4. Section 3.1、Equations 3–4：逐步跟 abduction、counterfactual (Y')、map-back，不要只读框架图。
5. Proposition 1 与 Appendix A：核对保证是 aggregate interventional consistency，而不是 pointwise commutation。
6. Section 3.2：阅读作者自己对 abstraction dependency 与 granularity 的要求。
7. Section 4.1、Figure 3，再看 Appendix H：把 choice-token failure 看成 case evidence，不误报 aggregate result。
8. Sections 4.2–4.3、Tables 1–2、Figure 5：区分 ACR、CPIR、ST 与 pronoun-effect preservation。
9. Appendices B、E、F：核对 metrics、classifier F1、GPT-4o-mini topic discovery 与 Other category。
10. Appendix I 与 J：用具体 biography 对照理解 side effect，并查看真实计算成本。

• Official NeurIPS proceedings: https://papers.nips.cc/paper_files/paper/2025/hash/7ed182aef7d9d19e8daf9148d0fd42c4-Abstract-Conference.html
• Official paper PDF: https://papers.nips.cc/paper_files/paper/2025/file/7ed182aef7d9d19e8daf9148d0fd42c4-Paper-Conference.pdf
• Official supplemental code archive: https://papers.nips.cc/paper_files/paper/2025/file/7ed182aef7d9d19e8daf9148d0fd42c4-Supplemental-Conference.zip
• Public projection: https://wehub.us/gong/10-paper-portfolio/causality-scout/paper-digests/a4-abstract-counterfactuals/

Source boundary checked on 2026-07-10:

formal claim and numeric results: fixed NeurIPS proceedings PDF
sampling configuration and external dependencies: official supplemental archive
MACHIA VELLI evidence: illustrative cases only, no aggregate score
this guide: explanation and critique; no experiment was rerun

本文没有把“official code inspected”写成“结果已复现”。supplemental archive 提供实现、notebooks、prompts 和 configs，但还依赖外部 datasets、checkpoints 与 experiment artifacts；若要复现，应同时锁定这些资产及随机 seed，而不是只运行 README 中一个命令。