30秒サマリ

Kambhampatiの主張は一文で言える——「LLMはステロイド付きn-gramモデルであり、推論でも計画でもなく『汎用的近似検索』をしているだけ」。

GPT-4でもBlocksWorldで正答率30%、アクション名を難読化するだけで性能が急落する。一方、古典的プランナーは名前変更に無影響。これが「本質的な計画能力」ではなく「訓練データからの検索」である証拠。自己検証（self-verification）を有効化すると、むしろ性能が悪化するという実験結果もある。

解決策としてLLM-Modulo Framework——LLMをアイデア生成源、外部シンボリックシステムを検証者として分離するアーキテクチャを提案。人間の介入は「問題単位で1回の仕様確認」に絞り込める。

研究の背景・問い

問い: 大規模言語モデル（LLM: Large Language Model）は、真の意味で「推論」や「計画」を実行できるのか？

背景: 2022年以降、LLMの能力への過大評価が急増した。「LLMsは○○のゼロショット推論者だ（LLMs are Zero-Shot ＜task名＞ Reasoners）」という論文タイトルが乱立。GPT-4の登場でこの傾向が加速した。Kambhampatiはこの「能力の幻想」を正面から批判する立場を取る。

著者はArizona State UniversityのAI研究者。AIプランニング（自動計画）の第一人者であり、この批判は単なる懐疑ではなく、古典的AIプランニングとの比較に基づく技術的検証である。

主要な論点（数値・実験付き）

1. 「ステロイド付きn-gram」論の詳細

LLMの構造的動作原理：

  • 前n-1トークンから、n番目のトークンの確率分布を予測する
  • これはn-gram（直前のn-1語から次の語を確率的に予測するモデル）の大規模版にすぎない
  • Web規模のコーパスへのアクセスにより「質問銀行（question bank）」へのアクセス能力は人間を超える
  • しかしそれは「検索の巧みさ」であり「推論の能力」ではない

引用（原文）:

"LLMs are essentially n-gram models on steroids, trained on web-scale language corpora."

"Nothing in the training and use of LLMs would seem to suggest remotely that they can do any type of principled reasoning."

「創造性」と「ハルシネーション（幻覚生成）」は同じメカニズムの表裏：

  • n-gramモデルは厳密な記憶が構造的に不可能
  • 記憶の不完全さ＝「創造性」にも「誤情報生成」にも同時になる
  • 区別できないのは設計上の問題、バグではない

2. 計画失敗の具体的証拠

Blocks World実験（積み木を並べ替える古典的AIプランニング問題）：

  • GPT-4の正答率: 30%（実行可能な計画を生成できた割合）
  • 別の報告では、GPT-4が生成した計画のうちエラーなく実行可能なものは約12%（Valmeekam et al., 2023）
  • GPT-3.5→GPT-4でも改善したが、それは「より大きなコーパスからの検索精度向上」であり計画能力の向上ではない

難読化テスト（決定的証拠）：

  • アクション名・オブジェクト名を意味のない文字列に置換するだけでGPT-4の性能が急落
  • 古典的プランナー（PDDL: Planning Domain Definition Languageベースのシステム）は影響ゼロ
  • この差が「パターンマッチング検索」と「真の計画能力」の違いを示す

3. 自己検証（Self-Verification）の不可能性

「LLMにReact（推論→行動ループ）やChain-of-Thoughtを使わせれば自己修正できる」という主張への反論：

  • Stechly et al.（2023）：グラフ彩色問題でLLMの自己検証を有効化すると、性能がむしろ悪化した
  • 計画検証タスク・制約検証タスクの両方で同様の結果
  • LLMは「誤った肯定（false positive）と誤った否定（false negative）の両方を幻覚生成する」
  • 理論的根拠：「検証は生成より計算量が少ない（NP理論）」という主張はLLMには適用不可——なぜならLLMは計算しているのではなく検索しているから

引用：

"While humans sometimes do show the capability of correcting their own erroneous guesses with self-critiquing, there seems to be no basis for that assumption in the case of LLMs."

4. 「Clever Hans効果」——人間の貢献の誤帰属

Clever Hansは「計算ができる馬」として有名になったが、実際は観客の反応を読んでいただけだった。LLMも同じ構造：

  • 人間がLLMに反復的プロンプトを与えてループするとき、成功はループ内の人間に帰属する
  • しかしユーザーは「AIが解いた」と誤認する
  • 特に危険なのは「人間自身がその問題の正解を知らない場合」——この場合Clever Hans効果すら発生しない

AIと人間の役割分担への示唆

人間の監視・介入が不可欠なタスク

  • 複数ステップの依存関係を持つ計画（プロジェクト管理・手術プロトコル・法的手続き）
  • 制約充足問題（予算配分・スケジューリング・物流ルート最適化）
  • 新規ドメイン・訓練データに存在しない問題（難読化テストの結果が示す通り）
  • 検証プロセス自体（LLMに自己検証させると悪化するため、外部検証が必須）
  • 「正解を誰も知らない」高難易度タスク（Clever Hans効果が発生しないため人間の知識が必要）

LLMが有効に使えるタスク

  • パターンに当てはまる問題の初期案・アイデア生成
  • 形式変換（自然言語→PDDL、コード→仕様書など）
  • 不完全な仕様の具体化（ユーザーの曖昧な要求を構造化する）
  • ドメイン知識の抽出支援（専門家が検証することを前提に）

LLM-Modulo Framework（提案アーキテクチャ）

[人間: ドメイン専門家]
    ↓ ドメイン定義を一度だけ検証
[LLM: 候補計画の生成 / 形式変換 / 知識抽出]
    ↓ 候補を生成（保証なし）
[外部批評家: シンボリックプランナー / 形式検証器]
    ↓ VAL等で硬い制約をチェック
[メタコントローラ: フィードバックを統合しLLMに再プロンプト]
    ↓ 繰り返し
[保証付き最終計画]
  • LLMは「考えを生成するソース」に特化——保証は担わない
  • 保証はシンボリックシステム（形式論理・因果性モデル）が担う
  • 人間の介入は「ドメイン単位で1回」「問題単位で1回の仕様確認」に圧縮できる

批判・反論・対抗意見

対抗意見1: 「スケーリングで解決する」派

  • GPT-4はGPT-3より良い → さらに大きくすれば計画できるようになる
  • Kambhampatiの反論: 改善はコーパス規模拡大による検索精度向上であり、質的な「計画能力」の獲得ではない。難読化テストで性能が急落することがその証拠

対抗意見2: 「チェーン・オブ・ソート（CoT）やRe-ActでLLMは自己修正できる」派

  • 反論: 自己検証有効化→性能悪化の実験結果が反証。ループ内に人間がいる場合の成功はClever Hans効果

対抗意見3: 「AlfWorldやMinecraftで高性能を達成している」派

  • 反論: これらの環境ではシミュレータ自体が「検証者」として機能している。LLMが単独で計画しているのではなく、外部検証器との組み合わせが成功の原因

YannLeCunとの共鳴点:

  • LeCunも「真の思考にはメンタルモデル（world model）の操作が必要」と主張
  • 両者とも「LLMは世界の因果的・物理的モデルを持たない」点で一致

2025年のフォローアップ（Kambhampati）:

  • "（How）Do Reasoning Models Reason?"（NYAS 2025）を発表
  • o1/o3等の「推論モデル（Reasoning Model）」にも同じ批判を拡張
  • 記号的推論の強化なしに「真の推論」は達成不可能との立場を維持

次の問い

  1. LLM-Moduloが普及する条件は何か? ——シンボリックプランナーをどのドメインに存在させるか、構築コストは誰が負うか
  2. 「訓練データに存在する問題」の境界はどこか? ——どの問題からLLMの検索能力が破綻し始めるかの判定基準
  3. o1/o3等のReasoning Modelはこの批判を逃れるか? ——内部でMonte Carlo Tree Search的なサーチをするなら、「計算」に近くなっている可能性
  4. マルチモーダル・ロボティクスへの拡張 ——物理世界でのLLMベースの計画は、さらに深刻な失敗モードを持つか
  5. 「汎用的近似検索」が十分に有用な問題クラスを正確に定義できるか? ——使うべき場面・使うべきでない場面の判定フレームワーク構築

参考文献

  • Kambhampati, S. (2024). Can large language models reason and plan? *Annals of the New York Academy of Sciences*, 1534, 15–18. https://doi.org/10.1111/nyas.15125
  • Kambhampati, S. et al. (2024). LLMs Can't Plan, But Can Help Planning in LLM-Modulo Frameworks. *ICML 2024*. arXiv:2402.01817
  • Valmeekam, K. et al. (2023). PlanBench: An Extensible Benchmark for Evaluating Large Language Models on Planning and Reasoning about Change. *NeurIPS 2023*.
  • Stechly, M. et al. (2023). GPT-4 Doesn't Know It's Wrong: An Analysis of Iterative Prompting for Reasoning Problems. arXiv:2310.12397
  • Kambhampati, S. (2025). (How) Do reasoning models reason? *Annals of the New York Academy of Sciences*. https://doi.org/10.1111/nyas.15339