CausalStep: A Benchmark for Explicit Stepwise Causal Reasoning in Videos

误会一：CausalStep 在视频里做 causal discovery

不是。它没有从像素中学习一张可检验的 causal graph，也没有估计 intervention effect。视频来自已有的 MGIT 数据，作者依据 action-level annotations 和叙事结构切分事件，再生成人工复核的 descriptive / causal multiple-choice questions。这里的目标是判断模型能否回答被标成 causal relation 的问题，而不是发现未知机制。

误会二：stepwise 就是让模型输出 chain-of-thought

也不是。论文没有把模型自由生成的推理文字当作主要证据。它改变的是 evaluation protocol：未来片段暂时不可见，问题按顺序开放，下一步依赖前一步是否正确，错误会触发 restart。它测的是在受控信息流下连续答对的行为轨迹，不是一段看起来合理的解释文本。

误会三：Chain Success Rate 就是普通 QA accuracy

不是。普通 accuracy 把每道题独立平均；CSR 要求一条视频链从起点到终点没有中断。两个模型可能单题 accuracy 相近，但一个错误均匀分散、几乎每条长链都会断，另一个能完整走通一部分视频；它们的 CSR 会很不同。

误会四：不让模型偷看未来，就已经消灭所有 shortcut

论文确实消除了一个重要 shortcut：不能先看完整视频再回填早期答案。但 multiple-choice 文本线索、世界常识、答案长度、GPT-4o 生成风格、当前片段的局部提示和训练数据重合仍可能提供捷径。作者 slides 使用了“stepwise causal reasoning is the only viable strategy”这样的强表述；现有实验没有排除全部替代策略。

误会五：human score 就是这个任务的无误差上限

Table 3 的 human 行是有用参照，不等于理论上限。理论 maximum 另列为 100% CSR；human CSR 是 79%。公开 9 页论文引用 Appendix F 说明 human experiment，却没有把 Appendix F 随 OJS PDF 或 arXiv source 一起公开，因此参与人数、训练、报酬、重复标注和分歧处理目前无法审计。

所以，这篇论文的最强贡献不是证明某个 MLLM “有没有因果智能”，而是给出一种很具体的评测纪律：先规定模型在每一步能看到什么，再把成功定义成整条链没有偷偷跳步。

想象一段四个事件的视频：

S1: 一只玻璃杯被放在桌边
S2: 有人转身时撞到桌子
S3: 杯子滑落并向地面下坠
S4: 杯子撞到硬地面，出现碎片

普通整段视频 QA 直接把 S1...S4 全给模型，再问：

杯子为什么碎了？

模型看到 S4 的碎片和“硬地面”，即使没认真看 S1、S2，也可能答对。

CausalStep-style protocol 会把路封窄：

只给 S1
-> Q_desc_1: 杯子在哪里？

答对后给 S1 + S2，以及此前正确答案
-> Q_causal_2: 什么导致杯子开始移动？

答对后给 S2 + S3，以及此前正确答案
-> Q_causal_3: 为什么杯子会向下运动？

答对后给 S3 + S4，以及此前正确答案
-> Q_causal_4: 什么直接导致玻璃破碎？

如果模型在 Q_causal_3 把“重力和失去支撑”错选成“有人再次推了杯子”，它不能靠 S4 的最终画面掩盖这一步。链在这里断掉，benchmark 会记录 restart。

这个小世界保留了论文真正的结构：不是让模型把四句话串成一段漂亮解释，而是把可见信息、当前问题、上一正确状态、链是否存活都变成 evaluation state。

数据从哪里来

CausalStep 不是从零收集 100 段视频。它以 MGIT 的 150 条长视频及 action-level segmentation 为基础，再筛选满足三项条件的子集：事件能跨片段形成明确的 stepwise relation；答案不应只靠一个场景猜出；关键事件分布在不同时间或地点。

论文最终报告：

六类内容是 Cartoons、Movies & TV Shows、Outdoor Sports、Regular Sports、Performances 和 Documentaries。论文没有在正文报告各类的具体数量；它把更多统计指向未随公开 PDF 提供的 Appendix D。

一条 benchmark row 不是一道独立题

论文定义视频为 segments 序列：

对每个 segment，作者声称标注 descriptive question \(Q_i^{\mathrm{desc}}\)；对 \(i>1\) 的 segment，另有 causal question \(Q_i^{\mathrm{causal}}\)，询问 \(S_{i-1}\) 与 \(S_i\) 的关系。模型运行时还会携带前一步正确答案 \(A_{i-1}\)。因此真正的 evaluation unit 是一个有状态的 chain，而不是可随意打乱的 1,852 道独立选择题。

QA 和 distractor 怎样产生

作者把 segment descriptions 输入 GPT-4o，生成 descriptive / causal candidate QA；human annotators 再过滤歧义、修正文案、核对视频 grounding。每个正确答案周围还有七类错误型 distractors。正文只举三类，作者官方 slides 给出完整 taxonomy：

1. Temporal Confusion；
2. Causal Misattribution；
3. Object / Actor Misrecognition；
4. Irrelevant but Plausible；
5. Surface-level Distraction；
6. Negation / Polarity Error；
7. Incomplete Reasoning。

这七类很可能解释了为什么每题正好有 1 个正确答案和 7 个错误选项。官方 slide 6 还把一道人物在洗手间活动的 descriptive question 逐项标出七种错误类型，说明 taxonomy 不只是论文里的名词列表。

比较对象

Table 3 共列 16 个模型：9 个 open-source baselines 与 7 个 proprietary baselines。它们包括 LLaVA-OneVision、Video-LLaVA、Phi-4 multimodal、Qwen2.5-VL、InternVL3、Gemma 3、GPT-4o、GPT-4.1、o4-mini、Gemini 2.0 / 2.5 和 Claude 3.5 Sonnet，并另有人类参照。

论文说所有模型使用相同 frame sampling strategy、input format 和 frame 数，但具体帧数、temperature、prompt、重试规则与 API 配置被指向 Appendix E；当前公开材料没有 Appendix E，也没有可检查的 evaluation code。

正常链怎样前进

按正文描述，正常链是：

Q_desc_1 on S1
-> correct
Q_causal_2 on [S1, S2] + previous correct answer
-> correct
Q_causal_3 on [S2, S3] + previous correct answer
-> ...
Q_causal_N on [S_{N-1}, S_N]

未来 segments 和未来 questions 不会预先给模型。若 descriptive question 错，正文说跳到下一个 segment 的 descriptive question，开启新链；若 causal question 在 \(S_k\) 错，正文与 Figure 1 说回到同一个 \(S_k\) 的 descriptive question，再从这里重启。

Weighted Score 的方法意图

每个正确 descriptive answer 得 1 分。正文说，一条 uninterrupted chain 内第一个正确 causal answer 得 1 分，第二个得 2 分，依次增加。若一条链含 \(m\) 个连续正确的 causal answers，按文字规则，它与起始 descriptive answer 的总贡献应为：

所以后段答对的价值更高：WS 奖励“连续维持”，不只是累计单题正确。

七个指标分别看什么

需要主动标记的 protocol discrepancy

公开 Algorithm 1 与正文有两处不能同时成立：

1. 正文说 causal error at \(S_k\) 后，从同一个 \(S_k\) 的 descriptive QA 重启；Algorithm 1 却执行 i <- i + 1，下一题会变成 \(S_{k+1}\) 的 descriptive QA。
2. Algorithm 1 在 descriptive answer 正确后先令 chain_length += 1；第一个 causal answer 正确时又先加 1，再把 chain_length 加到 score，因此第一个 causal step 实际加 2 分，不是文字所说的 1 分。

若按伪代码运行，含 \(m\) 个 causal answers 的完美链得分会变成：

比正文公式多 \(m\) 分。由于代码未公开，当前无法判断 Table 3 的 WS=55.06 / 62.39 使用哪一种实现。这不是挑排版小错：restart 位置和 score multiplier 会直接改变 leaderboard。

继续使用杯子视频。现在为 Q_causal_4: 杯子为什么在 S4 破碎？ 造一组 8 选 1：

这个例子说明 taxonomy 的诊断价值：选 A 与选 C 都是错，但前者是事件顺序错，后者是对象 grounding 错；如果 benchmark 只记 incorrect，它们会被抹平。

再走一次 chain state：

Q_desc_1 = correct
Q_causal_2 = correct
Q_causal_3 = wrong

此时能安全确认的是：第一条 uninterrupted chain 在第三问中断，RF 增加一次，CSR 对这条视频为失败。接下来问什么却取决于 protocol 版本：

正文 / Figure 1:
  回到 Q_desc_3，重新确认 S3 看见了什么

Algorithm 1:
  i 加 1，直接进入 Q_desc_4

若模型随后走通剩余步骤，AMCL、MCL 和 WS 都会受这个选择影响。一个真正可复现的 benchmark 必须把这条 state transition 写成 executable unit test，而不应让复现者从 prose 和 pseudocode 中二选一。

最后再看随机猜测：每题 8 个选项，单题均匀随机命中约为 \(1/8=12.5\%\)。但一条长度为 \(L\) 的链全猜对的概率约为 \((1/8)^L\)，CSR 会随链长快速下降。因此 CSR 很严格，也天然与每个视频的 segment 数分布耦合；比较模型时需要同时报告按链长分层的结果。

Table 3 的主要数字

注意，best model 一行是按每一列分别取最佳值：RF=1.68 属于 Gemini-2.5-Flash，不属于 o4-mini。不能把整行拼成一个不存在的单一系统。

结果一：最明显的缺口在 causal-side indicator，不只在 perception

o4-mini 的 DUA 为 85.2%，human 为 92.0%，差 6.8 percentage points；ICRA 则是 39.8% 对 76.8%，差 37.0 points。至少在作者定义的 isolated setting 下，模型看懂单个片段的能力明显高于回答 causal question 的能力。

但这不能直接证明 37 points 全是“causal intelligence gap”。ICRA 只给 current segment，而 causal question 本来被定义为 \(S_{i-1}\) 与 \(S_i\) 的关系；移除前一 segment 同时移除了任务所需证据。这个指标混合了 causal reasoning、missing context、world knowledge 与 option cue exploitation。

结果二：proprietary 与 open-source 有明显分层

作者选定的 best open-source Gemma-3-27B-it 与 o4-mini 相比：CSR 29% 对 51%，差 22 points；MCL 20 对 30；AMCL 5.94 对 7.19；WS 37.64 对 55.06；ICRA 26.3% 对 39.8%。o4-mini 的 RF 也从 2.42 降到 1.69。

这个分层在 Table 3 中很清楚，但论文没有用 controlled scaling experiment 解释来源。它可能同时来自模型能力、训练数据、视觉 encoder、context window、test-time reasoning、API implementation 和 data contamination，不能只归因于 proprietary architecture 或“更多 causal reasoning”。

结果三：human 仍然不是 perfect

human CSR 79%，意味着 100 条视频中按报告口径仍约有 21 条没有无误差走完全链；human MCL 46，也没达到 dataset maximum 51；DUA 92%，ICRA 76.8%。这说明任务确实有难度，也提醒我们 human row 不是 ground-truth oracle。

没有 Appendix F，就不能判断这些错误来自视频模糊、question ambiguity、疲劳、界面限制还是实际 causal attribution 分歧。论文把 human 当作 performance ceiling 的措辞应读成 empirical reference，而非认知上限。

四种证据必须分开

Table 本身还有两个需要澄清的数字问题

第一，论文说平均 8.76 segments / video，即约 876 segments；同时说每个 segment 有一个 descriptive question、除首 segment 外每个有一个 causal question。按这一定义，题数应接近 \(876+(876-100)=1{,}652\)，而不是 Table 2 的 926+926=1,852。除非某些 segments 有多题或 segment 统计使用了另一版本，公开材料没有解释这 200 题差异。

第二，MCL 被定义为全 benchmark 的 single longest chain，因此数学上不应低于 AMCL；但 LLaVA-OneVision 报 AMCL=5.20、MCL=4，Video-LLaVA 为 5.15 / 5，Phi-4 multimodal 为 5.33 / 4。要么 metric 名称、aggregation unit 或前三行数值有误，要么 AMCL 与 MCL 实际在不同对象上计算。不能在未拿到实现前把这些列当作完全可复现的 measurement。

CausalStep 最好的设计决定，是把 information access 纳入 benchmark contract。很多“推理 benchmark”只检查模型最后说了什么；CausalStep 进一步规定它在说这句话之前看过什么、上一环是否成立、错了以后如何重启。这一层协议对 agent evaluation、long-horizon reasoning 和 debugging 都很有价值。

taxonomy-based distractors 也比随意找七个错答案更认真。它尝试让错误本身可解释：temporal confusion 与 object misrecognition 应导向不同的模型改进，而不是一起埋在 overall accuracy 里。

但论文用“true causal reasoning”“only viable strategy”“systematically eliminating shortcuts”描述结果时走得比证据更远。它没有 causal intervention ground truth；题目是对真实视频叙事的人工归因；公开 protocol 还有统计、restart、weighted score 和 metric consistency 问题。再加上缺失的 appendices、dataset 与 code，当前最合理的定位是：一个有洞察、有真实区分度、但 measurement contract 尚未完全封口的 stepwise video-QA benchmark。

1. “causal”来自叙事标注，不是 intervention ground truth。 人工判断相邻事件为何相连，不能自动等同 SCM 中可识别的因果效应。
2. 相邻 segment QA 不必然证明 long-range integration。 每道 causal question 主要比较 \(S_{i-1}\) 与 \(S_i\)；长程能力主要由连续不犯错间接体现，而非直接询问跨多段机制。
3. 数据规模和来源较窄。 100 条视频来自 MGIT 150 条视频的筛选子集；跨数据源、文化叙事、语言和现实领域的外推未知。
4. QA 数与 segment 定义不自洽。 8.76 average segments、926+926 questions 和“每段一 descriptive、首段外一 causal”无法同时成立。
5. restart prose 与 Algorithm 1 冲突。 causal error 后究竟重问同一 segment 还是跳到下一 segment，会改变所有 chain metrics。
6. WS prose 与 Algorithm 1 冲突。 第一个 causal step 应加 1 还是 2 分尚不清楚，Table 3 的实现无法从公开材料确定。
7. 部分 MCL 小于 AMCL。 按论文给出的 metric 定义这是不可能关系，说明表格或 aggregation definition 需要更正。
8. 论文引用但未提供 Appendix A–F。 error taxonomy、prompts、extra statistics、implementation 和 human study 都被指向这些附录；OJS PDF、arXiv PDF 和 arXiv source 均只有 9 页正文。
9. 没有公开 dataset / code release。 官方 OJS、arXiv、作者主页和两位第一作者公开 GitHub 均未链接 CausalStep repository，结果无法独立重算。
10. annotation agreement 未公开。 human review 的人数、专业背景、双盲重标、inter-annotator agreement 与争议裁决不可见。
11. GPT-4o 同时参与数据生成和被评测。 human review 能减轻质量问题，却不能排除 generator-family style bias 或训练/生成亲和性。
12. human baseline 细节不可审计。 没有公开 participant count、qualification、界面、时间限制、training 或置信区间。
13. 没有 contamination audit。 MGIT 视频、剧情和相关问答可能出现在模型训练数据中；闭源模型尤其难排除。
14. 没有方差和重复运行。 API 模型与 sampling 可能随机；Table 3 没有 seeds、confidence intervals 或 significance tests。
15. 仍存在语言和选项 shortcut。 未来帧被阻断，不代表 option-only、question-only、caption-only 或答案风格 baseline 会失败。
16. ICRA 的方向存在解释张力。 只给 current segment 却要求回答跨两段 causal relation，高 ICRA 既可被称为能力，也可能表示题目可由局部线索猜出。
17. 七个 chain metrics 并非七份独立证据。 CSR、AMCL、MCL、RF 和 WS 都由同一 correctness sequence 派生，相关性很高。
18. chain length 会强烈影响难度。 2-segment 与 51-segment 视频的 CSR 不可直接等价平均；论文没有给按长度分层或 length-normalized calibration。
19. frame sampling fairness 只有文字声明。 同帧数不等于同等视觉信息利用能力；不同模型的视频 API、encoder 和最大分辨率仍不同。
20. 没有验证 benchmark score 改善真实下游决策。 高 CSR 是否带来更安全的 embodied action、视频取证或人机协作，论文没有测试。

• 公开 versioned dataset、video/segment IDs、licenses、QA rows、prompts、human-review records、model outputs、metric code 与 environment lockfile；
• 补发 Appendix A–F，并明确对应 AAAI camera-ready 的 commit / checksum；
• 发布一份 executable protocol specification，用 unit tests 固定 causal-error restart、descriptive-error restart、chain length 与 WS；
• 解释 876 segments 与 926+926 QA 的映射，并修正 MCL<AMCL 的表格或定义；
• 报告 question-only、option-only、caption-only、single-frame、current-segment-only、full-video 与 shuffled-segment baselines，量化每条 shortcut；
• 对同一题构造 paired counterfactual edits：只改变候选原因而保持视觉结果，或只改变时序而保持对象，检查模型是否跟随机制变化；
• 让与 GPT-4o 无关的模型或纯人工团队生成一部分 questions / distractors，测试 generator-style bias；
• 对 causal labels 做多专家独立标注、agreement、adjudication，并区分 direct cause、enabling condition、temporal predecessor 与 narrative explanation；
• 按 segment count、视频类别、时长、distractor type 和 evidence distance 分层报告 CSR / error rate；
• 对 stochastic APIs 做多次重复，报告 mean、variance、confidence interval、cost 和 failure rate；
• 公开 human-study protocol，并让参与者报告 ambiguity / confidence，而不只给单个平均分；
• 在 synthetic controllable videos 或 simulator 中加入真实 interventions / counterfactual pairs，为“causal reasoning”提供独立 ground truth；
• 将 process metrics 与 downstream action quality 对接，验证更长正确链是否真的改善决策，而不是只改善 benchmark protocol compliance。

它可以支持：

• final-answer accuracy 会掩盖一部分 stepwise video reasoning failure；
• 限制未来信息、逐步开放问题和记录 restart 是一种可操作的过程级评测设计；
• error-type-based distractors 能把不同类型的错误显式放进 benchmark；
• 在作者报告的 CausalStep 设定中，16 个 MLLMs 与 human reference 有明显差距；
• o4-mini 在多数列上是最佳模型，但 Gemini-2.5-Flash 有最低 model RF；
• descriptive understanding 与 isolated causal QA 的表现差距值得单独诊断。

它不能支持：

• 高分模型已经学习了真实视频 causal graph 或 mechanism；
• 低 ICRA / CSR 唯一由因果推理能力不足造成；
• protocol 已排除所有 global、local、linguistic 或 training-data shortcuts；
• Table 3 的七列都已有无歧义、可执行的公开定义；
• human row 是理论 cognitive ceiling；
• CausalStep 已在公开仓库中可复现；
• 当前 portfolio 已运行、复现或超过 CausalStep。

CausalStep 已经占据一个明确的邻域：

segmented video evidence
-> descriptive grounding
-> adjacent causal QA
-> chain break / restart
-> process-level diagnostic metrics

因此，当前 operational-regime / repair 研究不能把 novelty 写成“我们也逐步评测 causal reasoning”。真正不同的对象应该是：同一个 surface failure trace 可能来自不同 hidden regimes，而有效 repair 依赖 active regime。

A6 对 P17/RQ24 最有价值的压力是：一个 repair 即使最后碰巧成功，也不应掩盖 evidence state、regime identification 或 causal path 中间的错误。但当前研究还必须比 A6 多做一层：证明 stage label 改变了 repair prediction，并用真实 runtime intervention 检查 named-regime counterfactual，而不是只把 trace 切段再问选择题。

1. Introduction 第一页与 Table 1：先理解作者真正反对的是 full-video shortcut 和 final-answer-only evaluation；不要先被“causal intelligence”大词带走。
2. Figure 1 上半部：看清 video collection、GPT-4o QA generation、human review 和 taxonomy-based options 是三个不同数据生产环节。
3. CausalStep Task Overview：逐项记下 \(S_i\)、\(Q_i^{\mathrm{desc}}\)、\(Q_i^{\mathrm{causal}}\) 和 previous answer；这是 benchmark 的 object contract。
4. Figure 1 下半部：用实线 chain 与虚线 restart 理解 evaluation state；注意 causal error 的箭头回到同一 segment descriptive node。
5. Algorithm 1：逐行模拟一次错误路径，并主动对比正文 Restart Mechanism；这里会发现 i <- i+1 的冲突。
6. Scoring Scheme：手算一个 3-step chain，再对照 Algorithm 1 的 chain_length += 1；不要直接把 WS 当无歧义指标。
7. Benchmark Construction、Figure 2 与 Table 2：理解 MGIT 来源、GPT-4o / human pipeline、100 videos 和 1,852 QA；同时核对 segment / QA count discrepancy。
8. Metrics 与 Table 3：先分开 DUA / ICRA，再看 CSR / AMCL / MCL / RF / WS；检查前三个模型为什么出现 MCL<AMCL。
9. Analysis：把“观察到模型—人类差距”与作者提出的机制解释分开，不把 correlation 写成唯一原因。
10. 作者 slides 3–9：slide 6 给出完整七类 distractor taxonomy，slide 7 重画 protocol，slide 9 放大结果表；slides 能补充直觉，但不能补齐缺失 Appendix。
11. 最后做 release audit：检查 OJS、arXiv、作者主页与 GitHub 是否新增 dataset/code/appendices；在此之前不要声称 benchmark reproducible。

• Official AAAI OJS page, DOI metadata and abstract: https://ojs.aaai.org/index.php/AAAI/article/view/37582
• Official AAAI paper PDF: https://ojs.aaai.org/index.php/AAAI/article/download/37582/41544
• DOI: https://doi.org/10.1609/aaai.v40i8.37582
• Author-posted arXiv record and source version: https://arxiv.org/abs/2507.16878
• Author homepage publication entry: https://huuuuusy.github.io/
• Author-hosted AAAI 2026 slides: https://huuuuusy.github.io/files/CausalStep-Slides.pdf
• Official AAAI presentation surface: https://underline.io/lecture/139675-causalstep-a-benchmark-for-explicit-stepwise-causal-reasoning-in-videos
• First-author public GitHub checked for release audit: https://github.com/Xuchen-Li
• Co-first-author public GitHub checked for release audit: https://github.com/XuzhaoLi
• Public projection: https://wehub.us/gong/10-paper-portfolio/causality-scout/paper-digests/a6-causalstep/

Source boundary checked on 2026-07-10:

official AAAI 9-page paper: inspected
arXiv PDF and TeX source: inspected; also 9 pages
author-hosted 11-page slides: inspected and visually checked
Appendix A-F referenced by paper: not present in the public PDF or arXiv source
official / author-linked dataset repository: not found
official / author-linked evaluation code: not found
model outputs, prompts, human-study records: unavailable
this guide: source audit and explanation; no videos or benchmark runs reproduced

“未发现公开 repo”是当前 release-state 判断，不是永久结论；如果作者之后发布 dataset、appendix 或 implementation，这份导读首先要重审 QA-count mapping、restart transition、WS formula、MCL/AMCL aggregation 和 human protocol，再决定是否更新 bespoke-v1 的 reproduction boundary。