AIエージェントのサッカー予想、平均得点に届かず

実験で見えた効果

ニュース・試合結果を分担分析
批評役を加えて提案を改善
100超に増やしても効果薄

予測力の現在地

数週間の得点は平均未満
専門家の深い状況理解が強み
予測ベンチマークも進展
詳細を読む

WIREDの記者は、複数のAIエージェントにイングランド・プレミアリーグのファンタジーサッカーチームを編成・運用させました。ニュース収集、試合結果の分析、予測モデルの実行、提案の批評を分担させる構成にしましたが、数週間の成績は平均を上回りませんでした。

初期の提案には主力選手をベンチに置く例もありましたが、役割の異なるエージェントを組み合わせると提案は改善しました。一方、エージェントを100超に増やしても効果はほとんど変わらず、API費用が膨らみました。

シカゴ大学の研究者ハイフェン・シューは、モデルが大量の現実情報を処理し、複雑な仕組みを組めるようになったことが予測力の向上につながると説明します。同氏の研究チームによる予測市場の検証では、モデルが特別な指示なしでも平均的な人を上回る場合があり、独自タスクを持つエージェント群の活用が有効とされました。

ただし、現時点では優れた人間予測者が、ニュースの背景にある現実の動きを深く理解する点でAIを上回ることがあります。別の予測市場実験では、モデルが57日間の賭けで損失を出しながらも、時間とともに改善する兆候が報告されたと記事は紹介しています。

筆者の実験では、AIチームは平均得点に達しておらず、本人も自分の選考に提案を使わないとしています。予測力を測る競技やベンチマークは進んでいるものの、ファンタジーサッカーの結果からAIが人間の専門家をすでに超えたとは言えません。