OpenAI、AI進歩の共通指標に予測精度を提案
指標の限界
値の低下と能力向上が連動
比較にはデータ調整が必要
実務能力を直接測れない
監視技術の進展も条件
詳細を読む
OpenAIのチーフサイエンティスト、ヤクブ・パチョツキ氏は、AIの進歩を測る共通指標として「困惑度」を使い、企業間の安全基準や開発上限の設定につなげる案を示しました。困惑度はモデルが次のトークンをどれほど正確に予測するかを表し、値が低いほど予測精度が高い指標です。OpenAIは自社モデルの学習前段階の測定値も公表し、業界横断の議論を促しています。
同氏によると、下流の能力を測る既存ベンチマークは、モデルの進化に伴って陳腐化しやすい一方、事前学習の困惑度は進歩を継続して追える可能性があります。OpenAIの観測では、GPT-3.5の対数困惑度は約0.99、GPT-4は約0.91で、0.8を下回る水準ではサイバーセキュリティや数学の能力が現れたといいます。
パチョツキ氏は、困惑度などの指標に基づく共通の開発上限を設け、AIの挙動を理解・監視する能力が具体的な基準に達するまで、各社が上限を越えない枠組みを提案しました。AI企業がモデル評価やレッドチーム検証、安全性に関する透明性の共通ルールを整えることも求めています。
ただし、困惑度を研究所間で比べるには、評価データや学習データの違いを調整する必要があります。また、この値は実際に重視するタスクの性能を直接示さず、事前学習以外の手法による能力向上も捉えきれません。
それでも同氏は、困惑度が長年にわたりモデルの一般能力向上を追ってきた実績を重視します。指標の限界を踏まえて他の測定方法と組み合わせ、AIの進歩と監視能力の両方を見ながら開発ペースを調整する共通枠組みを目指す考えです。