AI複数モデル併用、失敗率を2.25倍過小評価

複数のAIモデルを使い分ければ弱点を補い合える。そんな企業の前提が数学的に崩れました。米メディアVentureBeatが2026年7月9日に報じた新研究は、21社67のフロンティアモデルを評価し、企業が多モデル構成の失敗率を実際より約2.25倍も過小評価していると指摘します。論文著者のJosef Chen氏は、全モデルが同じ問いで同時に間違える共失敗の天井という限界を示しました。

多モデル運用では、複雑な質問を高性能モデルへ振り分けるルーター方式や、安価なモデルから順に試すカスケード方式が使われます。開発者はモデル同士が別々の問題で失敗する誤りの相関の低さを根拠に、組み合わせれば安全網ができると考えてきました。しかしChen氏は、モデルの実力が不揃いだと弱いモデルが多数決で強いモデルを上回り、性能がむしろ下がると警告します。

研究チームは数学ベンチマークMATH-500で検証しました。ペア相関から予測される全モデル同時失敗は2.3%でしたが、実測は5.2%と2倍以上に達しています。この差の正体は市場全体が同じ問いで一斉に失敗する共通の弱点で、従来のペア相関では見えないものだといいます。

問題の形式も失敗率を左右します。大学院レベルの科学問題GPQAを選択式から自由記述式に変えたところ、全モデル失敗の割合は12.7%へ拡大しました。多モデル構成は、企業が最も頼りたい自由生成の場面でこそ効果が薄いという皮肉な結果です。

では企業はどうすべきか。Chen氏は同じ品質帯のモデルだけを組み合わせるよう助言します。品質を揃えられないなら、無理に統合せず市場最高のモデル1つに予算を集中する方が得策だといいます。

導入前の無料チェックも有効です。Clopper-Pearson境界という統計式を使えば、少数のテスト問題から性能の上限を保証付きで算出できます。SQLやJSON生成のように答えが明確に検証できるタスクでは、複数の安価なモデルを束ねるより最高性能モデル1つに賭ける方が有利だと研究は結論づけています。