30秒サマリ

2025年版AIインデックス（400ページ超）の核心：AIは「短期集中タスク」では人間の4倍の速度で動くが、「32時間の深い思考」では人間が逆に2倍勝る。ベンチマーク（性能評価指標）はほぼ全域でAIが急上昇中だが、複雑な推論と長時間スケールでは人間優位が残る。コストは18か月で280分の1、企業採用率は55%→78%。AIは「いつでも安い高速エンジン」として定着しつつあり、人間は「長期・文脈・判断」側に特化すべき移行期にある。

レポートの概要・構成

第8回目の年次報告。主要7章構成：

  • 第1章：研究開発（R&D）——モデル数・学術論文・特許
  • 第2章：技術的パフォーマンス——ベンチマーク・能力評価
  • 第3章：責任あるAI——安全性・公平性・ガバナンス
  • 第4章：経済——投資・採用率・労働市場
  • 第5章：科学——生物・化学・物理への応用
  • 第6章：政策——各国の立法・規制動向
  • 第7章：教育——AI教育の普及・スキル需要

Stanford HAI + Lightcast（労働市場データ会社）が共同執筆。

主要な発見（数値付き）

1. RE-Bench：タスク長で逆転する優位性

RE-Bench（Research Engineering Benchmark、ML研究エンジニアリング評価指標）は2024年末に発表された。7つのオープンエンドなMLタスクで61人の人間専門家（71セッション）と最先端AIエージェントを比較。

時間予算別スコア：

  • 2時間：AIエージェントが人間専門家の 4倍 のスコア
  • 8時間：人間専門家がAIをわずかに上回る
  • 32時間：人間専門家がAIエージェントの 2倍 のスコア

解釈： AIは「速い反復・実装」で圧倒する。人間は時間をかけるほど「深い理解・戦略的判断」で逆転する。AIの改善速度は時間が増えても鈍化するが、人間のそれは加速する。

AIの速度は人間の10倍以上（生成・テスト速度）、コストは大幅に低い。ただしカスタムTritonカーネル等の高度実装では人間専門家の解より優れたケースもあり、単純な「AIが劣る」ではない。

2. ベンチマーク別パフォーマンス（2023→2024の上昇幅）

  • MMMU（マルチモーダル理解）：+18.8ポイント
  • GPQA（博士レベル科学QA）：+48.9ポイント
  • SWE-bench（実ソフトウェアバグ修正）：+67.3ポイント

- 2023年：4.4%解決率 → 2024年：71.7%解決率

  • MMLU / HumanEval（米中モデル格差）：

- 2023年末：17.5 / 31.6ポイント差 → 2024年末：0.3 / 3.7ポイント差に縮小

  • トップモデル間の差：11.9% → 5.4%（コモディティ化進行中）
  • 1位と10位の差は 0.7% まで縮小

3. 小型モデルの効率化

  • 2022年：MMLUで60%超のモデル最小パラメータ数 = PaLM（5400億）
  • 2024年：Microsoft Phi-3-mini（38億パラメータ）で同等達成
  • → 142分の1のパラメータ数で同性能

4. コスト革命

  • 2022年11月：GPT-3.5同等性能のAPI推論コスト = $20/百万トークン
  • 2024年10月：$0.07/百万トークン（280分の1）
  • ハードウェアコスト：年率30%下落
  • AIハードウェアのエネルギー効率：年率40%改善
  • 学習に使うコンピュート（計算量）：5か月ごとに倍増

5. 企業AI採用率

  • 2023年：55% → 2024年：78%（1年で23ポイント増）
  • 少なくとも1つの業務でGenAI活用：33% → 71%（2倍以上）
  • 大学生のGenAI利用率：約80%（4人に4人）
  • 総企業AI投資額：2524億ドル（前年比+26%）

6. 地域別AI民間投資（2024年）

  • 米国：1091億ドル
  • 中国：93億ドル（米国の約12分の1）
  • 英国：45億ドル
  • GenAI特化投資：世界全体339億ドル（+18.7%）

7. モデル産出の産業シフト

  • 2023年：業界60% / 学術40%
  • 2024年：業界90% / 学術10%
  • 米国が40モデルをリリース（中国は15モデル）
  • 一方で中国が論文数・特許数でリード

8. 労働市場への影響

求人票（job posting）データ（Lightcast分析）：

  • GenAIスキル言及求人：2023年1.6万件 → 2024年6.6万件（4倍）
  • AIスキルが初めて機械学習を抜いて 最も求められるスキルクラスタ になった（機械学習は2010年から首位）
  • 米国のAIスキル求人割合：全求人の1.8%（世界3位）

- 1位：シンガポール3.2%、2位：ルクセンブルク2.0%

  • 米国AIスキル求人成長率：+20%（2023→2024）
  • 国内都市トップ：ワシントンDC 4.4%

9. 医療・科学への応用

  • FDA承認AI医療機器：2015年6件 → 2023年223件（37倍）
  • AI診断精度：92%（医師76%と比較）
  • 生物・化学・物理・天文学の各分野で新発見を補助

10. 責任あるAI（Responsible AI）

  • AIインシデント（事故・問題事例）：233件（前年比+56.4%）

- ※別データポイントで362件という数字も報告内にあり

  • ほぼ全ての主要AIモデル開発者が能力評価結果を公開する一方、安全性・公平性の評価報告はまばら
  • 安全性を上げると精度が下がるトレードオフが確認されている
  • 75か国のAI立法言及が+21.3%増加
  • 2016年比でAI立法活動は9倍

AIと人間の役割分担への示唆

タスク長・複雑度による逆転モデル

RE-Benchが示す構造：

短時間（〜2時間）：AI優位
  → 速い反復、実装、パターン認識、コード生成
  → コスト・速度で人間の10倍超

中時間（〜8時間）：拮抗
  → 人間がコンテキスト理解・戦略で追いつく

長時間（32時間〜）：人間優位（2倍）
  → 深い推論・長期計画・新規判断・抽象的問題定義

実践的設計原則

  1. AIを「最初の高速反復」に使う：コード生成、データ整理、案出し、ドラフト作成は2時間以内のサイクルで。
  2. 人間レビューは「時間をかけるほど価値が出る」フェーズに集中：戦略的判断・長期方向性・倫理的判断は人間が主導。
  3. ベンチマーク上の「AIが勝った」を字義通りに取らない：SWE-benchで71%でも32時間の深い作業では人間が2倍の成果。
  4. スキル需要の転換を先取りする：AIスキル求人が4倍増。AIとの協働能力が「新しい最重要スキル」。
  5. コスト前提の再計算を常に：280倍のコスト低下は1年半前の試算を全て無効化する。

注目データ・グラフ

主要チャート（Stanford HAI原資料より）：

  • SWE-benchの急上昇曲線：4.4% → 71.7%の1年間軌跡は視覚的に急峻。業界がソフトウェアエンジニアリング自動化に急速に近づいている。
  • RE-Benchのクロス曲線：時間軸を横軸に、AI・人間スコアを縦軸にすると2点で逆転が起きる（〜2時間でAI急騰、32時間で人間が逆転）。タスク設計の根拠として説得力が高い。
  • 推論コスト曲線：対数スケールで急落。2022年から2024年にかけての280分の1を可視化。
  • AI求人の構成比変化：AIスキルが機械学習を抜く交差点（2024年）。

次の問い

  1. RE-Benchの7タスクは何か？ MLエンジニアリング限定のためプログラミング外（マーケ、営業、創作）での逆転点はどこか。
  2. 32時間の「深い思考」の中身は何か？ 人間が加速する理由——コンテキスト統合か、問題定義の修正か、メタ認知か。
  3. コスト280分の1の先に何があるか？ $0.07/百万トークンの次のフロアはどこか。限界費用ゼロに近づくと何が変わるか。
  4. 責任あるAIの「測定ギャップ」をどう埋めるか？ 能力ベンチマークは整備されたが、安全性・公平性の測定標準は未整備。誰が主導するか。
  5. 中国の論文・特許リードは3〜5年後に何を意味するか？ 現在は米国がモデル優位だが、基礎研究のリードが逆転をもたらすタイムラインは？

参考文献

  • Stanford HAI, *AI Index Report 2025*, April 2025. https://hai.stanford.edu/ai-index/2025-ai-index-report
  • Stanford HAI, "AI Index 2025: State of AI in 10 Charts". https://hai.stanford.edu/news/ai-index-2025-state-of-ai-in-10-charts
  • Meinke et al., "RE-Bench: Evaluating frontier AI R&D capabilities of language model agents against human experts", arXiv:2411.15114. https://arxiv.org/abs/2411.15114
  • Lightcast × Stanford HAI, "AI at Work: Insights from the 2025 Stanford AI Index". https://lightcast.io/resources/research/stanford-ai-index-2025
  • IBM Think, "Key findings from Stanford's 2025 AI Index Report". https://www.ibm.com/think/news/stanford-hai-2025-ai-index-report
  • Radical Ventures, "Stanford HAI AI Index Report 2025". https://radical.vc/stanford-hai-ai-index-report-2025/