詳細を読む
Stanford HAIが第9回年次AI Index報告書を公開し、フロンティアAIモデルが構造化ベンチマークにおいて依然として約3回に1回の割合で失敗していることを明らかにしました。企業でのAI導入率は88%に達し、SWE-bench Verifiedではほぼ100%、GAIAでは74.5%と能力面での進歩が著しい一方、本番環境での信頼性が大きな課題として浮き彫りになっています。
能力と信頼性の乖離は「ジャグドフロンティア」と呼ばれる現象で端的に示されています。Gemini Deep Thinkが国際数学オリンピックで金メダルを獲得する一方、時計を読むテストでは正答率がわずか50.1%にとどまりました。GPT-4.5 Highも50.6%とほぼ同水準です。視覚的推論と単純な算術を組み合わせるタスクで、人間の約90%の正答率に遠く及びません。
幻覚の問題も深刻です。26の主要モデルを対象にしたベンチマークでは、幻覚率が22%から94%の範囲にわたりました。GPT-4oの精度は厳密な検証下で98.2%から64.4%へ低下し、DeepSeek R1は90%超から14.4%まで急落しています。一方、Grok 4.20 Beta、Claude 4.5 Haiku、MiMo-V2-Proは比較的低い幻覚率を示しました。
透明性の面では、Foundation Model Transparency Indexのスコアが平均40点と17ポイント下落しました。OpenAI、Anthropic、Googleを含む主要企業がトレーニングコードやパラメータ数、データセットの規模を非開示としており、95モデル中80がトレーニングコードなしでリリースされています。報告書は「最も高性能なシステムが最も不透明になっている」と警告しています。
ベンチマーク自体の信頼性も揺らいでいます。広く使われる評価指標の誤差率が最大42%に達し、ベンチマーク汚染や開発者報告と独立検証の不一致が報告されています。モデルの急速な進歩により、数カ月でベンチマークが飽和してしまう「ベンチマーク飽和」現象が起きており、AI能力の正確な測定がかつてなく困難になっていると報告書は結論づけています。