30秒サマリ

LLMは「正しいアルゴリズムを教科書的に説明できるが、そのアルゴリズムを確実に実行できない」。この矛盾は知識不足ではなく、Transformerアーキテクチャに埋め込まれた構造的欠陥——著者は「計算的分裂脳症候群（computational split-brain syndrome）」と命名——に起因する。CoT（思考の連鎖）やo1のような推論モデルは性能を改善するが、この根本的なボトルネックを迂回するにすぎず「治療」ではない。AIを信頼できるのは「理解の言語化」であり、「記号的実行」は人間か外部システムが担う必要がある。

研究の背景・問い

きっかけとなる観察:

Claude Sonnetに「9.9と9.11どちらが大きいか」と問うと「9.11」と誤答する。一方、小数比較の手順（小数点を揃えて左から右へ比較）は完璧に説明できる。この矛盾は偶発的なバグではなく、体系的なパターンである。

研究問い:

なぜLLMは「理解と実行」が解離するのか。この解離はスケール拡大・データ増加・プロンプト改善で解消できるのか。

著者の立場:

「解消できない」——それはアーキテクチャの設計トレードオフから来る必然的帰結である。

主要な発見（数値付き）

数値表現の幾何学的歪み

  • トークン埋め込み（文字列→ベクトル変換）において、数値的近接性が保存されない
  • 「10」と「1」のコサイン距離（ベクトル間の角度で測る非類似度）: 0.20
  • 「10」と「9」のコサイン距離: 0.55（近いはずなのに遠い）
  • 「9.11」の埋め込みは数値的に近い「9.9」よりも「9/11テロ」に意味的に近い

逆関係推論の崩壊（逆転呪い）

「トム・クルーズの母はメアリー・リー・ファイファー」から:

  • 順方向「トム・クルーズの母は？」: GPT-4で正答率 79%
  • 逆方向「メアリーの息子は？」: 33% に低下
  • フィクションキャラクターで同条件: 7% まで崩壊（約11分の1）

多段階推論での崩壊

「アリスには姉妹4人と兄弟1人がいる」→「アリスの兄弟が持つ姉妹の数は？」

  • GPT-4、Claude 3 Opus、Gemini全モデルで「推論の著しい崩壊」
  • 性能は「0に近いレベル」まで低下

層ごとの収束パターン（アーキテクチャの証拠）

乗算タスクにおける正解ベクトルへの類似度:

  • 初期層: ～0.07
  • 最終層: ～0.48（改善幅: 0.404）
  • 加算でも同様（改善幅: 0.407）

この漸進的改善パターンは「アルゴリズム的計算」ではなく「階層的パターンフィッティング（近似マッチング）」の挙動。正解に近づくが決して確実には届かない。

スケールの逆説

LLMは専門的論理推論モデル（専用設計の小型モデル）より10万倍大きいにもかかわらず、変数バインディング（変数に値を確実に対応付ける処理）や体系的規則適用では「劇的に低いパフォーマンス」を示す。

アーキテクチャ的欠陥の3層構造

著者は「計算的分裂脳症候群」を3つの相互強化する制約で説明する。

制約1：汚染された入力（Claim 1）

各トークンの埋め込みはすべての文脈を同時に保持しなければならない。「9.11」は歴史的事件・バージョン番号・数値として同時に存在する。この多義性がクリーンな数値計算に必要な「変数の確定的バインディング」を不可能にする。

制約2：正確な計算回路の欠如（Claim 2）

数学的証明（付録A）により:

  • FFN（フィードフォワードネットワーク）はReLU活性化を使うため区分線形関数しか実装できない → 正確な乗算は原理的に不可能
  • Attention機構は既存埋め込みの加重平均しか生成できない → 新規方向のベクトルを作れない
  • 帰結: FFNは「パターン暗記→結果マッピング」に特化するしかない

制約3：指示-実行の構造的分離（Claim 3）

次トークン予測（訓練目標）において、「手順の説明テキスト」と「実際に計算を行う処理」は独立した別経路のパターン補完タスクとして学習される。両者をつなぐ回路は訓練では自動生成されない。

これが「教科書的に正しい説明ができる × 実行は失敗する」という分裂を生む。

AIと人間の役割分担への示唆

「理解の言語化」はAIが得意、「記号的実行」はAIが不得意

この発見は役割分担に明確な指針を与える:

  • AIが信頼できる: 概念の説明・手順の言語化・パターン認識・類推・構造化
  • AIが信頼できない: 変数束縛を要する計算・多段階の正確な論理連鎖・逆方向推論・状態追跡

「実行確認」は人間の構造的役割

AIが正しい原理を述べても、その実行が正確かどうかは独立した問題である。特に:

  • 多段階の論理が絡む意思決定
  • 数値計算が介在するプロセス
  • 逆向きの因果・関係推論

これらは「AIの出力を信じる」のではなく人間が実行ステップを追うか、外部ツール（コード実行・計算機）で検証することが構造的に必要。

スキャフォールディング（補助構造）戦略の正当性と限界

CoT（Chain-of-Thought）は並列制約を直列計算に変換するため有効。理論的にはTC⁰（定数深さ回路で解ける問題）からP/polyレベルの問題まで計算能力を拡張できる（Li et al. 2024）。

ただし複雑な関数合成では「指数関数的に増加する中間ステップ」が必要になる（Peng et al. 2024）。o1・DeepSeek-R1も「性能改善であって根本治療ではない」。ツール使用（コード実行・計算機）との組み合わせが現実的な最適解。

批判・限界

著者が認める限界

  • 分析対象はLLaMA2・Claude・GPT-4等の標準的Transformerに限定
  • ツールなし・RAGなしの純粋なLLM評価
  • t-SNE（高次元データの可視化手法）投影の代表性問題
  • MoE（混合専門家モデル）・推論拡張モデルへの一般化は「実証検証待ち」

外部から見た批判ポイント

  • 証明が「ReLU活性化」を前提にするが、SwiGLU・GELU等の最新活性化関数への適用は再検証が必要
  • 「チューリングマシン的完全性」の欠如を主張するが、近似計算で実用的十分性を達成できるかの議論が薄い
  • 機械的解釈可能性（SAEが発見した「算術回路」）の知見とどう整合するかが未解決
  • 著者はAWSの研究者であり、Anthropic製モデル（Claude）を比較対象に含める際の独立性

研究の射程と意義

スケール拡大・RLHF（人間フィードバック強化学習）・CoT・推論モデル全てが「迂回策」であって「治療」でないという主張は、次世代アーキテクチャの要件を逆定義している。メタ認知制御・原則提示（principle lifting）・構造的実行が必要という処方箋は具体性が薄いが、問題の切断は正確。

次の問い

  1. LLMと確定的実行エンジン（記号推論システム・計算機）を統合したハイブリッドアーキテクチャは「制約3」を構造的に解消できるか？
  2. 人間の思考も同じ「理解-実行の分離」を持つか（直観的理解 vs 手順的実行の二重過程理論との対比）
  3. この知見を踏まえると、LLM評価ベンチマークのうち「理解を測っているもの」と「実行を測っているもの」はどう区別すべきか？
  4. 「言語化できるが実行できない」という性質は、LLMを「ソクラテス的教師（問いを立てて思考を促す役割）」として最適化する方向性を支持するか？

参考文献

  • Zhang, Z. (2025). *Comprehension Without Competence: Architectural Limits of LLMs in Symbolic Computation and Reasoning*. TMLR. arXiv:2507.10624
  • Zhang, Z. (2025). *Why LLMs Can Explain Algorithms They Cannot Execute*. Medium.
  • Peng, B. et al. (2024). Chain-of-thought reasoning with exponential intermediate steps.
  • Li, Y. et al. (2024b). CoT enables TC⁰→P/poly computation expansion.
  • コードリポジトリ: https://github.com/zzhang-cn/comprehension-without-competence
  • 動画解説: https://youtu.be/Z4waL0GwhyQ