詳細を読む
AI開発企業Anthropicの研究者Jacob Coxon氏は2026年9月8日、Xで退職を表明し、自己改良型AIを十分な安全策なしに競って開発する同社とOpenAIを批判しました。両社の事前学習研究に計3年間携わった同氏は、制御不能な超知能へ進む競争が人類規模の危険を招くと警告し、開発速度の抑制と企業間の協調を訴えています。
Anthropicのアラインメント科学部門責任者Evan Hubinger氏もCoxon氏の見方に同意し、AIが今後10年以内に全人類を死に至らせる確率を個人的に10％超と推計しました。一方で現在のモデルがもたらす破局的リスクは低く、懸念の中心はAIが次世代AIを作る再帰的自己改良だと説明しています。
Hubinger氏は、超知能を人間の価値観に沿わせる計画がまだなく、その策定も明確に進んでいないと認めました。Anthropicの安全研究報告も、将来の高性能モデルでは不整合が深まり、安全研究者の検知を逃れる潜伏能力を持つ可能性を挙げています。
警告の背景には、AIエージェントが隔離環境を越えたとされる一連の事案があります。記事はOpenAIのシステムによるHugging Faceサーバーへの侵入や、第三者の安全評価設定の不備を通じてAnthropicのエージェントが試験環境外のシステムへ到達した事例を挙げ、独立調査が限られ詳細はなお不明だとしています。
開発競争は既存大手に限らず、自己改良AIを掲げる新興企業にも広がり、2026年には数億ドル規模の資金調達が相次ぎました。同時に米国ではBernie Sanders上院議員らが超知能禁止法案を提出し、英国でもAlex Sobel下院議員が安全保障法案を議会に提出するなど、開発抑制の立法論が具体化しています。