30秒サマリ

LLMは「反事実推論（もし〜だったら）」の4段階プロセスを分解すると、因果変数の特定と介入後の結果連鎖追跡の2点で深刻に失敗する。GPT-4oでさえ複雑タスクのF1スコアが55〜63に落ちる。根本原因は「論理処理の欠陥」ではなく、「学習済みパターン（暗記）と文脈的前提の競合を解消できない構造」にある。別研究では11モデルで平均14%の精度低下を確認。FaRプロンプト法（事前に矛盾を明示してから推論）で7%まで縮小可能だが、人間専門家の97.75%には遠く及ばない。

研究の背景・問い

反事実推論（Counterfactual Reasoning）とは: 「現実と異なる前提を仮定した場合、結果はどう変わるか」を推論する認知能力。例：「あの薬を飲まなかったら回復したか」「コードのこの行が存在しなかったらバグは出たか」。

なぜLLMがこれを苦手とするかの仮説

先行研究はLLMが反事実推論を苦手とすることを示してきたが、どのサブコンポーネントがボトルネックかは不明だった。仮説は主に3つ：

  1. 暗記依存仮説: LLMは事実的関係を暗記しているため、それと矛盾する仮定を設定された時に元の記憶が干渉する
  2. ショートカット仮説: 表面的な言語パターンから答えを導く近道（ショートカット）が、因果連鎖を追う深い推論をバイパスする
  3. 動的更新不能仮説: パラメトリック知識（学習済み重み）は静的であり、文脈から与えられた新情報に応じてリアルタイム更新ができない

本論文はこれらを「デコンポジション（分解）」アプローチで検証する。

研究手法

デコンポジション戦略

反事実推論を4つの逐次ステージに分解して各段階を独立評価：

  • Stage 1 — 因果変数特定: 4種変数を識別

- Exposure X（介入・操作変数）

- Covariate Z（前提条件変数）

- Mediator M（因果メカニズム変数）

- Outcome Y（結果変数）

  • Stage 2 — 因果グラフ構築: 変数間の有向非巡回グラフ（DAG: Directed Acyclic Graph）を構築
  • Stage 3 — 介入識別: 反事実条件でどの変数が変化するかを特定
  • Stage 4 — 結果推論: 介入後の経路（M'→Y'）を追跡して反事実結果を推論

ベンチマーク構成

11データセット・約48,676事例・4モダリティ（様式）：

  • 自然言語理解: CRASS, CLOMO, RNN-Typology
  • 数学: Arithmetic, CVQA-Count
  • プログラミング: HumanEval-Exe, Code-Preference
  • ビジョン言語: CVQA-Bool, COCO, DeepSeek-VL, Open-Critic

比較モデル

GPT-4o、Qwen-VL、Gemini-Pro、DeepSeek-VL、LLaMA-3.2-11B（計5モデル以上）

主要な発見（数値付き）

Stage 1（変数特定）：最大のボトルネック

Mediator（媒介変数）の特定が特に困難：

  • GPT-4o / COCOデータセット: F1 = 59.7 ± 13.7（明示変数より大幅低下）
  • LLaMA-3.2-11B / Open-Critic: F1 = 37.6 ± 8.1（深刻な性能劣化）
  • コードデータセット全般: F1 50未満
  • テキストのみデータセットでも Covariate 抽出で 15〜20ポイント低下

Stage 2（グラフ構築）：唯一の強みゾーン

全モデルで F1 > 0.9 を達成。変数が与えられていれば構造的・規則ベースのタスクは得意。

Stage 4（反事実結果推論）：連鎖的劣化

GPT-4oの結果（M'=反事実媒介変数推論、Y'=反事実結果推論）：

  • CRASS: M' = 85.7±4.8 → Y' = 80.3±6.9（-5.4pt）
  • CLOMO: M' = 83.6±5.2 → Y' = 77.9±7.3（-5.7pt）
  • Code-Preference: M' = 63.5±11.6 → Y' = 56.7±13.8（-6.8pt）
  • Open-Critic: M' = 62.3±11.9 → Y' = 55.5±14.1（-6.8pt）

M'よりY'が5〜7ポイント下回るパターンが全データセットで一貫——推論連鎖が長くなるほど劣化する構造的問題。

全モデル横断の一貫パターン

全モデルでコード・記号重タスクで 20〜40ポイントF1低下。モダリティ（様式）の複雑さに全モデルが同様に脆弱。

並行研究（Flying Pigs / FaR、2025）による独立検証

11モデル・6データセットでの評価：

  • 知識一致シナリオ精度: 72%
  • 反事実シナリオ精度: 58%（平均14%低下）
  • FaR介入後: ギャップ 7%に縮小、全体精度 +4%
  • 否定を含む論理スキーマ（選言的三段論法等）では 30%以上のギャップ

パラメトリック知識との競合（別論文 arXiv:2506.15732）

GPT-4oとLlama 3.1 8Bの4シナリオ実験：

  • 文脈が知識と一致する条件: 精度 約95%
  • 文脈が知識と矛盾する条件: 精度 約50%（ランダム基準）に崩壊
  • 新情報付加条件: 精度 約80%
  • ファインチューニングで修正試みた結果: 文脈の関連性を無視して「常にパラメトリック知識を上書き」するショートカットを習得——根本解決にならず

CounterBench（人工概念ベンチマーク、2025）

架空語彙（"Kelp"、"Ziklo"等）で暗記を排除した純粋推論タスク：

  • ほとんどのLLM: 精度 約50%（ランダム）
  • GPT-4o mini: 50.0%（完全ランダム）
  • CausalCoTプロンプト使用時のGPT-4o: 78.8%（最高値）
  • 推論エラーの 86%が「推論プロセス」で発生（変数特定後）
  • 人間専門家: 97.75%——LLMとの圧倒的な差

AIと人間の役割分担への示唆

反事実推論が「人間固有の認知優位領域」である根拠

本論文群が示す証拠から、反事実推論は現状のLLMアーキテクチャでは構造的に困難な以下の能力を要求する：

  1. 信念阻害（Belief Inhibition）: 自分の知識が「この文脈では無効」と判断して抑制する。LLMの重みは静的であり、文脈によって動的オフにできない
  2. 因果連鎖の動的再計算: X→X'という介入後にM→M'→Y→Y'と連鎖を更新する。LLMは事前学習した「よくある結果」のショートカットに引き寄せられる
  3. 暗記と推論の分離: 「知っていること」と「この前提から導けること」を意識的に分離する。LLMはこの分離機構を持たない
  4. 否定・反例への適応: 「〜でない」条件や「現実と逆の」前提処理で30%以上のギャップが生じる——否定の論理処理が最も脆弱

実務的含意（AIと人間の分業設計）

  • AIが得意な部分: Stage 2（グラフ構造化、F1>0.9）＝因果関係の図式化・構造整理
  • AIが苦手な部分: Stage 1（変数特定、特にMediator）＝暗黙的・文脈依存の要素を見抜く
  • 最も危険な誤用: LLMに反事実シナリオで意思決定の根拠を生成させること——精度50%に近い状況で自信を持って回答する
  • 適切な分業モデル: 人間が「何が変わったか（X'）」「何が媒介するか（M）」を特定し、AIが構造化・経路可視化を担当

批判・限界

  • Stage 1の評価方法に曖昧さ: Mediator（媒介変数）は問題定義によって正解が変わりうる。F1スコアのアノテーター間一致率の報告が限定的
  • 暗記の直接測定なし: 本論文は暗記依存を間接証拠（モダリティ感度・黙示変数の失敗）から推論しており、訓練データとの重複を直接測定していない
  • 閉世界仮定: ベンチマークが構造化された因果グラフを前提とする。実世界の反事実推論（曖昧な介入・複合要因）はさらに困難な可能性
  • ファインチューニング実験の浅さ: 「事前学習時に反事実データを含める方が効果的」と示唆されるが、必要なデータ量・収集コストの検討が少ない
  • 2025年5月時点のモデル: o1/o3系統の推論強化モデルへの評価が含まれていない可能性（論文提出タイミングとの関係）

次の問い

  • 推論強化モデル（o3, Gemini 2.0 Flash Thinking）は Stage 1のMediator特定を改善するか？ 内部推論チェーンがボトルネックを解消するか検証する価値がある
  • RAG（検索拡張生成）での文脈注入は「parametric knowledge競合問題」を解決するか？ それとも別のショートカットを生むか
  • 人間のMediator特定能力はどの程度？ 専門家 vs 非専門家 vs LLMの三者比較がない
  • 介入変数X'を明示的にハイライトするプロンプト設計は有効か？ FaRはY軸（結果）の明示に効果的だったが、Stage 1向けの「変数明示プロンプト」の系統的研究は少ない
  • ビジネス意思決定（A/Bテスト解釈・因果推論）でのLLM誤用リスク はどの程度か？定量的被害推定が求められる

参考文献

  • Yang, S. et al. (2025). "On the Eligibility of LLMs for Counterfactual Reasoning: A Decompositional Study." arXiv:2505.11839. ICLR 2026. https://arxiv.org/abs/2505.11839
  • Chen et al. (2025). "CounterBench: A Benchmark for Counterfactuals Reasoning in Large Language Models." arXiv:2502.11008. https://arxiv.org/abs/2502.11008
  • (2025). "Flying Pigs, FaR and Beyond: Evaluating LLM Reasoning in Counterfactual Worlds." arXiv:2505.22318. https://arxiv.org/abs/2505.22318
  • (2025). "LLMs Struggle to Perform Counterfactual Reasoning with Parametric Knowledge." arXiv:2506.15732. https://arxiv.org/abs/2506.15732
  • MIT News (2024). "Reasoning skills of large language models are often overestimated." https://news.mit.edu/2024/reasoning-skills-large-language-models-often-overestimated-0711