30秒サマリ

190件の神経放射線・全身領域症例で、放射線科医（専門医8人）61% vs GPT-4V 49% vs Gemini Pro Vision 39%という精度差が確認された。統計的には放射線科医とGPT-4Vの差はボンフェローニ補正後に有意差が消えたが、Geminiには有意差が残った。重要な発見は「精度の差」より「エラーの質の差」にある——AIは広い鑑別リストの中に正解を滑り込ませる「網打ち」で精度を稼ぐ一方、第一鑑別の的中率は放射線科医48%に対しGPT-4V 15%と壊滅的。また処理速度はLLMが圧倒的（GPT-4V 19秒 / Gemini 12秒 vs 放射線科医 178秒）で、速度と精度の非対称なトレードオフが明確になった。

研究の背景・問い

2022〜23年にGPT-4VやGemini Pro Visionが一般公開され、テキストと画像を同時に処理するマルチモーダル（複数モード対応）LLM（大規模言語モデル）が医療現場に入り込む前に、その「実際の診断力」を測る必要があった。

先行研究はテキストのみのプロンプト（入力）での評価が主流で、画像のみ・または画像＋限定テキストでの評価は不足していた。この研究の問いは：

「画像入力だけで、マルチモーダルAIは専門放射線科医に近い診断精度を出せるか？」

対象をRadiology誌の「Diagnosis Please」（診断してみて）コーナーの実症例に絞ることで、エキスパートが正解を知っている「gold standard（黄金基準）」との比較が可能になった。

研究手法

症例選定

  • Radiology誌「Diagnosis Please」セクション 2008年1月〜2023年10月掲載
  • 計190症例（画像品質不良の2008年以前は除外）
  • 内訳（9分野）:

- 神経放射線科: 53件（最多）

- 多臓器系: 27件

- 消化管: 25件

- 泌尿生殖器: 23件

- 筋骨格系: 17件

- 胸部: 16件

- 心血管: 12件

- 小児: 12件

- 乳腺: 5件

AIの評価設計

  • 各モデルに「3つの鑑別診断を挙げよ」と指示
  • 温度パラメータ（temperature: AIの出力多様性を制御する数値）0 / 0.5 / 1.0の3段階で各5回繰り返し
  • 「5回の繰り返し中に最終診断が1度でも含まれていれば正解」とする寛容な採点基準

放射線科医の評価

  • 8人の専門医（subspecialty-trained: 各専門分野で訓練を受けた）
  • 1人のベテラン放射線科医が生成診断と最終診断を照合して採点

プロンプト設計

  • 画像＋症例の患者概要（patient history）＋図の凡例（figure legend）を入力
  • 「画像のみ」ではなく「画像＋限定テキスト」の構成（題名には「image-only prompts」とあるが実際は最小限のテキスト補足を含む）

主要な発見（数値付き）

全体精度

| 評価者 | 精度 |

|---|---|

| 放射線科医 | 61%（115/190） |

| GPT-4V（T1） | 49%（93/190） |

| Gemini Pro Vision（T1） | 39%（74/190） |

温度設定別GPT-4V: T0=41% → T0.5=45% → T1=49%（高温ほど精度が上がる）

温度設定別Gemini: T0=29% → T0.5=36% → T1=39%

統計的有意差（ボンフェローニ補正後、有意水準 P<.007）

  • 放射線科医 vs GPT-4V（T1）: P=.02 → 補正後は有意差なし
  • 放射線科医 vs Gemini（T1）: P<.001 → 有意差あり
  • GPT-4V の温度間差: P=.12 → 有意差なし（温度を上げても統計的には同等）
  • Gemini の温度間差: P=.04 → わずかに有意

専門分野別精度（放射線科医）

  • 胸部: 88%（最高）
  • 消化管: 68%
  • 泌尿生殖器: 45〜88%
  • 神経放射線科: 45%（最低）

専門分野別精度（GPT-4V T1）

  • 胸部: 75%（最高）
  • 消化管: 44%
  • 小児: 33%
  • 神経放射線科: 低め（具体値は未開示だが放射線科医の45%を下回る水準）

画像モダリティ（撮影方式）別精度（GPT-4V）

  • 超音波: 54〜68%（最高）
  • MRI: 44〜50%
  • CT: 38〜48%
  • X線: 34〜42%（最低）

第一鑑別の的中率（最重要所見）

  • 放射線科医: 48%
  • GPT-4V: 15%

→ AIは「5回試行のどこかで正解を含める」戦略は得意だが、「最も可能性が高い診断を1つ当てる」能力は放射線科医の3分の1以下。

処理速度

  • GPT-4V: 平均 19秒/症例
  • Gemini: 平均 12秒/症例
  • 放射線科医: 平均 178秒/症例（約9倍の差）

AIと人間の役割分担への示唆

「定型分類はAI有利」の根拠

胸部放射線（GPT-4V 75%）と超音波（54〜68%）の高精度は、視覚的に定型的なパターンが多い領域での強みを示す。画像の質感・形状・コントラスト比など「統計的な視覚パターンマッチング」が主な判断根拠になる領域ではAIが善戦する。

処理速度（12〜19秒）は、大量スクリーニング（ふるいにかける検査）の一次読影補助として実用的な水準。

「臨床文脈を要する病理判断では人間有位」の根拠

神経放射線科での放射線科医の低精度（45%）とAIの更なる低精度という「両方が苦手な領域」の存在は、神経疾患が「類似した画像所見でも臨床経緯・神経症状・発症時期によって診断が全く変わる」という臨床文脈依存性の高さを反映している。

第一鑑別の的中率（放射線科医48% vs GPT-4V 15%）の差は決定的。専門家は「この画像ならまずこれ」という優先順位付けができる。AIは「正解が含まれる広いリスト」は作れるが、「臨床的に最優先される診断」への重み付けができない。

メタ分析（Frontiers, 2025）でも「GPTは頭蓋内出血の存在は検出できるが、出血の型の分類や局在特定に失敗する」と指摘——同じ「出血の有無」という視覚課題でも、「型の識別」になった瞬間に臨床知識が必要になる。

テキスト vs 画像入力の精度差

メタ分析での比較: テキスト入力のGPT-4精度56.5% vs 画像入力のGPT-4V精度42.3%。画像入力になると精度が14ポイント低下する。LLMは画像「理解」より言語推論の方が得意という構造的限界が露呈している。

協働モデルへの示唆

本研究は「AIが放射線科医を置き換えるか」ではなく「鑑別リスト生成補助としての活用」を示唆している。AIが広い鑑別を高速に生成し、専門医が優先順位と臨床文脈を加えるという分業が現実的。

批判・限界

  1. 症例の代表性の問題

「Diagnosis Please」は教育目的の難症例集。実際の放射線科業務の大半を占める「正常確認」や「典型的所見の確認」は含まれない。AIは典型的・定型的なケースでより高い精度を出す可能性があり、実臨床での性能は過小評価かもしれない。

  1. トレーニングデータ汚染（data contamination）リスク

GPT-4VとGeminiは2023年以前の公開文献でトレーニングされており、Diagnosis Pleaseの症例が学習データに含まれている可能性がある。これは精度の過大評価につながる。

  1. 寛容な採点基準

「5回試行のいずれかで正解を含めれば正解」は実臨床での要求（1回の診断での正解）とかけ離れている。この基準なしでは精度はさらに低くなる。

  1. 協働ワークフローの未評価

「AIと放射線科医の協働」ではなく「AI単独 vs 放射線科医単独」の比較のみ。実際の臨床ユースケースはAI補助下での医師判断であり、その評価が欠けている。

  1. モデルの急速な陳腐化

2024年時点の評価でGPT-4V/Gemini Pro Visionを対象にしているが、GPT-4o、Claude 3.5以降、Gemini 1.5/2.0はいずれも大幅に性能が向上しており、結論の賞味期限が短い。

  1. 放射線科医の均質性

8人の専門医による評価は、専門医間の多様性（経験年数・専門分野）を十分に反映していない可能性がある。

次の問い

  • GPT-4o、Claude 3.5 Sonnet、Gemini 1.5 Pro（Flash）などの次世代モデルで同じ190症例を再試験した場合、精度差はどう変化するか？
  • 「AI鑑別リスト + 専門医による優先順位付け」という協働プロトコルは単独専門医を上回るか？（Vaccaro 2024のhuman-AI combination研究との接続点）
  • 第一鑑別的中率の低さ（15%）はプロンプト設計で改善できるか（chain-of-thought prompting、few-shot exampleなど）？
  • モダリティ識別（CT/MRI/X線の判別）・解剖部位の特定・病理診断という3レイヤーで精度を分解した場合、AIはどの階層で人間に近づけるか？
  • 神経放射線科での両者の低精度（放射線科医45%、AI更に低い）は、画像診断の本質的限界か、それとも臨床情報の不足か？

参考文献

  • Suh PS et al. "Comparing Diagnostic Accuracy of Radiologists versus GPT-4V and Gemini Pro Vision Using Image Inputs from Diagnosis Please Cases." *Radiology*. 2024;312:e240273. DOI: 10.1148/radiol.240273
  • "A systematic review and meta-analysis of GPT-based differential diagnostic accuracy in radiological cases: 2023–2025." *Frontiers in Radiology*. 2025. DOI: 10.3389/fradi.2025.1670517
  • "Comparison between multimodal foundation models and radiologists for the diagnosis of challenging neuroradiology cases with text and images." *ScienceDirect*. 2025.
  • "Comparing Large Language Model and Human Reader Accuracy with NEJM Image Challenge Case Image Inputs." *Radiology*. 2024. PMID: 39656125
  • Noy & Zhang. "Generative AI at Work." *QJE*. 2023.（比較対象: 非医療ドメインでのAI協働効果）
  • Vaccaro et al. "Human-AI Combinations." *Nature Human Behaviour*. 2024.（比較対象: 協働モデルの系統的評価）