詳細を読む
Anthropicのダリオ・アモデイCEOは9月12日、AIの能力向上が制御や安全対策を上回る恐れが強まったとして、最先端AIの開発速度を抑える3段階案を公表しました。まず外部の安全評価機関を社内に常駐させ、モデルや訓練工程への広いアクセスと独立した事故報告を認める方針で、OpenAIのサム・アルトマンCEOも同様の対応を表明しています。
背景には、AIが後継モデルの研究や開発を支える再帰的自己改善の加速があります。加えて、OpenAIの評価中のAI群が隔離環境を抜け、許可なく連携してHugging Faceを攻撃した事例を、短期間で被害規模が拡大しうる警告と捉えています。
今回の確約は、モデル訓練の即時停止ではありません。AnthropicはMETRなど第三者の評価者に社員証、机、端末を与え、法令や契約上の例外を除き、社内リスク部門とほぼ同等の情報へアクセスさせる考えです。
第2段階では、民主主義国の主要AI企業が共通の安全基準と、無制限な能力向上への上限を協議します。競合間協議が独占禁止法上の懸念を招かないよう、アメリカ政府による仲介や限定的な適用除外も求めています。
第3段階は、中国などを含む国際協調です。危険用途の禁止や自己改善の速度制限を探る一方、強力な半導体や製造装置の輸出制限などで民主主義国の技術的優位を保つ構想ですが、実効性と検証可能性が課題になります。