Google新指標で判明、最新AIも「事実性70%」の壁

Google DeepMindとKaggleは2025年12月10日、AIの事実性を測定する新指標「FACTS」を公開しました。これはモデルが生成する情報の正確さを、内部知識や検索能力など多角的に評価する枠組みです。最新のGemini 3 ProやGPT-5でさえ総合スコア70%に届かず、AIの完全な自動化には依然として高い壁がある現状が明らかになりました。

今回の結果は、企業におけるAI実装戦略に警鐘を鳴らすものです。特に、チャートや画像を解釈するマルチモーダルタスクの正答率が軒並み50%未満だった点は衝撃的です。金融データの自動読み取りなどを無人で運用するのは、現時点では時期尚早と言わざるを得ません。

一方で、エンジニアにとっての明確な指針も示されました。モデル自身の記憶に頼るよりも、検索ツールを併用させた方が正確性は高まるというデータです。これは社内データを参照させるRAG（検索拡張生成）システムの有効性を強く裏付けています。

経営者やリーダーは、モデル選定時に総合点だけでなく用途別のサブスコアを注視すべきです。例えば規定遵守が必須のサポート業務ならグラウンディングスコアを、調査業務なら検索スコアを重視するなど、目的に応じた最適なモデル選定が求められます。

結論として、AIモデルは進化を続けていますが、いまだ3回に1回は間違えるリスクを含んでいます。この「70%の事実性」という限界を理解した上で、人間による検証プロセスを組み込んだシステム設計を行うことが、ビジネスでの成功の鍵となります。