AGIの知能は測れるか？新指標「ARC」がAIの課題を映し出す

OpenAIやDeepMindなどの主要AIラボは、数年内にAGIが実現するとの見方を示しています。AGIの登場は経済や科学に計り知れない影響を及ぼす可能性があります。そのため、技術の進捗を客観的に追跡し、法規制やビジネスモデルを準備することが不可欠です。AGIの能力を測るベンチマークは、そのための羅針盤となります。

AIの知能測定はなぜ難しいのでしょうか。それは、AIの強みや弱みが人間とは根本的に異なるためです。人間のIQテストは、記憶力や論理的思考など複数の能力を総合的に測りますが、AIにはそのまま適用できません。学習データにない未知の状況に対応する「流動性知能」の評価が、特に大きな課題となっています。

かつてAIの知能を測るとされたチェスやチューリングテストは、もはや有効ではありません。1997年にチェス王者を破ったIBMのDeep Blueは、汎用的な知能を持ちませんでした。近年の大規模言語モデル（LLM）は人間のように対話できますが、簡単な論理問題で誤りを犯すこともあり、その能力は限定的です。

こうした中、Googleのフランソワ・ショレ氏が2019年に開発した「ARCベンチマーク」が注目されています。これは、いくつかの図形パズルの例題からルールを抽出し、新しい問題に応用する能力を測るテストです。大量の知識ではなく、未知の課題を解決する思考力（流動性知能）に焦点を当てている点が特徴です。

ARCベンチマークでは、人間が容易に解ける問題にAIは今なお苦戦しています。2025年には、より複雑な新バージョン「ARC-AGI-2」が導入されました。人間の平均正答率が60%であるのに対し、最高のAIモデルでも約16%にとどまっています。AIが人間レベルの思考力を獲得するには、まだ大きな隔たりがあるようです。

専門家はARCを、AIのアルゴリズム機能を解明する優れた理論的ベンチマークだと評価しています。しかし、その形式は限定的であり、社会的推論など現実世界の複雑なタスクを評価できないという限界も指摘されています。AGIの進捗を知る有力な指標の一つですが、それだけでAGIの全てを測れるわけではありません。

ARC以外にも、多様なAGIベンチマークの開発が進んでいます。仮想世界でのタスク実行能力を測るGoogle DeepMindの「Dreamer」や、テキスト、画像、音声など5種類の情報を扱う「General-Bench」などがその例です。究極的には、現実世界で物理的なタスクをこなす能力が試金石になるとの見方もあります。

結局のところ、「AGIとは何か」という定義自体が専門家の間でも定まっていません。「既に実現した」という意見から「決して実現しない」という意見まで様々です。そのため、「AGI」という言葉は、それが何を指し、どのベンチマークで評価されているのかを明確にしない限り、実用的な意味を持ちにくいのが現状と言えるでしょう。