詳細を読む
Googleは7月8日、Androidアプリ開発におけるAIモデルの性能を測る指標「Android Bench」を大幅に刷新し、新たに8つのモデルを追加したと発表しました。更新後の順位表では、同社の「Gemini 3.1 Pro」が5位に後退し、GPT 5.4やClaudeシリーズに後れを取る結果となりました。首位はClaude Fable 5で、正答率84.5%と大きな差をつけています。
Android Benchは、100種類のAndroid開発タスクを通じて、どのAIエージェントが最も優れているかを示すために今年3月に公開された指標です。今回はClaude Fable 5やClaude Opus 4.8、GLM 5.2、Kimi K2.7 Code、Qwen 3.7 Maxなど最新の8モデルを追加したほか、コストや効率といった評価軸も設けました。あわせて、開発者が結果を再現・共有しやすい新しい検証基盤「Harbor」へ移行しています。
順位を詳しく見ると、Gemini 3.1 ProはGPT 5.4、Claude Sonnet 5、Claude Fable 5の後塵を拝し、5位にとどまりました。当初のリリース時点でもGoogle製モデルは首位を取れず、OpenAI勢がわずかにリードしていましたが、モデル拡充によってGeminiの劣勢はいっそう鮮明になった形です。首位のFable 5は前評判どおりの実力を示し、正答率で頭一つ抜けています。
一方で、性能の高さは費用の高さと表裏一体です。Fable 5とGPT 5.5はトークン消費が激しく、100問を10回実行する検証で130ドル超を要しました。これに対しGemini 3.1 Proは87ドルと割安でしたが、低コストをうたうGemini 3.5 Flashは実行に28時間を費やし、165ドルと一覧で最も高額になっています。
こうしたAndroid開発でのGoogle製モデルの遅れは、同社が多くのプロジェクトをエージェント型開発へ移そうとするなかで課題となります。Googleは自社ツールを開発者に使ってほしいのが本音で、AI学習用にアプリのソースコードを開発者から買い取る動きも一部で報じられています。今後Android Benchは新たなワークフローを取り込みながら進化する予定で、同社は開発者コミュニティによるタスク提供や結果共有への参加を呼びかけています。