詳細を読む
Anthropicのフェローシップに参加する研究者チェン・ユエハン氏らが8月28日（現地時間）、AIが自らアライメント研究を行い性能を改善できることを示す論文を発表しました。研究チームが用意した10種類のアライメント関連ベンチマークすべてで、自動化されたAIシステムが全体性能を落とすことなく改善を実現したといいます。同分野で自動化が実用段階に近づいていることを示す成果として注目されています。
このシステムは、既存研究の文献調査、改善手法の提案、その手法を用いた30分間のモデル訓練という一連のプロセスを自動で繰り返します。有効だった手法は保持し、効果が乏しい手法は破棄することで、ベンチマークの性能を段階的に引き上げていく仕組みです。人手を介さずに大量の試行を高速に回せる点が特徴です。
論文によれば、最も優れた自動手法は平均6時間で経験豊富な人間研究者の提案を上回る成果を出したといいます。さらに、人間の研究方針に沿って誘導しても、性能向上にはつながらなかったと指摘しています。コスト面でも、自動システムはAPI利用料として1時間あたり約4ドルで済む一方、人間研究者には1時間あたり約150ドルを支払っているとしており、大きな価格差があることも明らかにしています。
今回の成果は、AIが自らの訓練方法を改善していく「再帰的自己改善」に向けた一歩とも位置づけられます。アライメント調整だけでなく、AI開発プロセス全般の改善にも自動化が及ぶ可能性を示すものであり、将来的には人間の研究者の役割が縮小するとの見方も出ています。
一方で論文は限界にも言及しています。自動システムの有効性は、用意されたベンチマークが実際のアライメント目標をどれだけ正確に反映しているかに左右されるといいます。ベンチマークの整備や、自動研究者が参照する文献の拡充など、人手による下支えが依然として欠かせない点も課題として挙げられています。