30秒サマリ

トルコの高校生約1,000人を対象にRCT（無作為比較試験）を実施。AI無制限グループは練習中は48%スコアが上がったが、AI抜きの後続試験では逆に17%低下した。一方、ガードあり（ヒント誘導型）GPT-4グループは練習中127%向上しつつ、後続試験でも対照群と同等を維持。「AIに答えを聞く」行動が記憶定着と思考力の獲得を妨げる「松葉杖効果（crutch effect）」が確認された。

研究の背景・問い

生成AI（Generative AI）の教育利用が急速に広まる中、「AIで即座に答えが得られること」が学習そのものにどう影響するかは不明だった。特に問題なのは短期的なパフォーマンス向上が「スキル習得」と混同されやすい点。

  • 問い①: 自由にAIを使える環境は数学の理解を深めるか、それとも浅くするか？
  • 問い②: ツールの設計（ガードの有無）で結果は変わるか？
  • 背景理論: 認知的努力（Cognitive Effort）を伴わない問題解決は長期記憶への転送を阻害するという学習科学の知見との整合性検証

研究手法

設計: ランダム化比較試験（RCT: Randomized Controlled Trial）

対象:

  • トルコの高校（公立）9〜11年生
  • 約50クラス、約1,000人
  • 実施時期: 2023年秋学期

実験期間: 4セッション × 90分 = 計6時間（学期の数学カリキュラムの約15%をカバー）

3条件の詳細:

  1. Control（対照群）

- 通常授業のみ。教科書・ノートのみ使用

- AIへのアクセスなし

  1. GPT Base（無制限群）

- ChatGPT-4と同等のチャットインターフェース

- 制約なし——学生が何を聞いても直接答える

- 実質的に「答え教えて」が機能する

  1. GPT Tutor（ガード付き群）

- 同じGPT-4ベースだが、教師が設計した隠れシステムプロンプト（System Prompt: 500語超）を注入

- 直接的な答えの提示を禁止

- 段階的ヒント誘導（Scaffolded Hints）

- よくある誤答パターンと解説を組み込み済み

- ハルシネーション（事実でない答えの生成）を抑制する指示を含む

測定:

  • 練習フェーズ（AI使用可能時）のスコア
  • 後続試験（AI使用不可、独立テスト）のスコア
  • チャットログ分析（学生がどのようにAIに質問したか）

主要な発見（数値付き）

練習フェーズ（AI使用中）

| 条件 | 対照群比スコア変化 |

|------|-----------------|

| Control | 基準（0%） |

| GPT Base | +48% |

| GPT Tutor | +127% |

GPT Tutorは段階的ヒントで正確な解法プロセスを踏ませるため、練習中の正答率が大きく上がる。

後続試験（AI使用不可・独立評価）

| 条件 | 対照群比スコア変化 |

|------|-----------------|

| Control | 基準（0%） |

| GPT Base | −17% ← 逆転・悪化 |

| GPT Tutor | ±0%（統計的に有意差なし） |

  • GPT Baseの-17%は統計的に有意な悪化
  • GPT Tutorは練習中の大幅向上にもかかわらず、後続試験での損害がゼロ

学生の行動データ（チャットログ分析）

  • GPT Base使用学生の「大多数」が直接「答えを教えて」と入力
  • GPT Baseは正答を返した割合が51%のみ（約半分は誤答）
  • それでも学生は誤答を盲目的にコピーした
  • GPT Tutor使用学生は4回目のセッションで2倍の質問数——深い対話が起きていた

ガードあり vs ガードなしの差の本質

| 軸 | GPT Base | GPT Tutor |

|----|----------|-----------|

| AIの応答スタイル | 直接答える | 段階的ヒントのみ |

| 学生の認知負荷 | 低い（コピーするだけ） | 高い（考えながらヒントを処理） |

| 練習中パフォーマンス | +48% | +127% |

| 後続試験 | −17% | ±0% |

| エラー検出能力 | 養われない | 誤答パターンを学ぶ機会あり |

AIと人間の役割分担への示唆

AIに任せてよい場面

  • 反復作業の高速化: 定型計算・フォーマット変換・検索
  • 足場がけ（Scaffolding）のある練習: GPT Tutorモデルのようにヒントのみ与え、解法は自分で組み立てる
  • エラーフィードバックの即時化: 誤答に対して「どこが違うか」を示す使い方
  • 上位タスクの補助: 既にスキルを持つ人がチェック・加速するための使用

人間が必ず担うべき場面（AIに置き換えると学習が壊れる）

  • 解法プロセスの自力生成: 答えに至る思考の筋道を自分で組み立てる作業
  • 試行錯誤と誤答の経験: 間違えて訂正するプロセスが記憶定着に不可欠
  • 認知的努力（Desirable Difficulty）: 「少し難しい」負荷を感じながら解く体験
  • メタ認知（何がわかっていないかを知る）: AIが答えを出すと「わかった気」になり自己評価が歪む

境界線の原則

AIを使った後に「AIなしで同じ問題を解けるか」を自問する。解けなければ学習は起きていない。

Bastaniの言葉: 「AIをアシスタントと考え、より高次のタスクと出力チェックに使えば大きな利益がある。ツールに代わりに学ばせると、将来これらを効果的に使う基礎スキルを自分が持たなくなる。」

批判・限界

  1. 単一校・単一国: トルコの1高校での実験。文化・教育制度・学習習慣の違いが結果に影響している可能性
  2. 数学特有の結果: 書き言葉・人文系科目では異なる可能性が著者も認めている
  3. 短期測定: 4セッション・学期の15%のみ。長期的な影響（数ヶ月・数年）は未測定
  4. AI新鮮効果: 2023年秋実施——ChatGPTが世に出て1年未満。学生のAI使用習熟度が今と違う
  5. GPT Tutorのスケーラビリティ: 500語超のシステムプロンプトを問題ごとに教師が設計。実装コストが高い
  6. 自発的採用バイアスなし: RCTなので選択バイアスはないが、実験参加の自発性・モチベーションが現実の授業と異なる可能性

次の問い

  1. 習熟度別の効果差: 低学力層と高学力層でAI依存の影響は同じか？（仮説: 低学力層は依存しやすく損害大）
  2. 長期効果: 1学期・1年・3年スパンでの追跡調査が必要
  3. 他教科・他スキルへの汎化: プログラミング・英語作文・批判的思考での同様のRCT
  4. 最適な「ガード設計」: ヒント誘導の粒度・タイミング・段階数の最適化研究
  5. 自律調整の訓練: 「いつAIを使うべきか」を学生自身に判断させる訓練の効果
  6. AI生成誤答の扱い: 51%しか正答しないGPT Baseを「盲目コピー」した行動——AI出力の批判的検証スキルをどう育てるか
  7. 認知負荷理論との接続: Swellerの認知負荷理論（Cognitive Load Theory）でGPT Base/Tutorの差をどう説明するか

参考文献

  • Bastani, H., Bastani, O., Sungu, A., Ge, H., Kabakcı, Ö., & Mariman, R. (2025). Generative AI without guardrails can harm learning: Evidence from high school mathematics. *Proceedings of the National Academy of Sciences*, 122(26). https://doi.org/10.1073/pnas.2422633122
  • 解説記事（PsyPost）: https://www.psypost.org/unrestricted-generative-ai-harms-high-school-math-learning-by-acting-as-a-crutch/
  • Wharton Knowledge解説: https://knowledge.wharton.upenn.edu/article/without-guardrails-generative-ai-can-harm-education/
  • SRI Seminar（著者講演）: https://srinstitute.utoronto.ca/events-archive/seminar-2025-hasma-bastani
  • SSRN Preprint: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4895486