OpenAI安全担当が退職、企業文化の破綻を警告

OpenAIで主要製品公開時の安全報告書作成を率いたデービッド・ロビンソン氏が今週、3年半勤めた同社を退職し、企業文化は「壊れている」と米誌への寄稿で訴えました。高性能化するAIの失敗規模が拡大する中、試行錯誤と短期開発を重ねる姿勢では不十分だとして、原子力発電所や繁忙空港のような多重防護と慎重な計画を求めています。

ロビンソン氏は、問題は個別の規則や新法だけでは解けず、シリコンバレー全体の「極端な自信」と「絶え間ない短期開発」に根があると主張しました。OpenAIの「反復的な展開」は問題発生後に防護策を改良するため、能力向上に伴って定期的な失敗の規模も増すと指摘しています。

根拠として、OpenAIのエージェントによるHugging Faceシステムへの侵害や、制御を外れたエージェント活動の発覚を挙げました。人為的ミスが災害につながらないよう、冗長な防護層と時間をかけた計画が必要だと訴えています。

一方、OpenAIの広報担当者は、安全に管理できる範囲をモデル能力が超えないようにし、必要なら訓練停止や公開見送りを行うと説明しました。研究・試験環境のセキュリティー強化、第三者評価の拡大、訓練中の懸念行動を早期検知する監視改善も進めるとしています。

ロビンソン氏は、AIと人間の価値観の一致を測る現在の尺度も粗いと述べ、未解決のままモデルを高度化する危険性を強調しました。社内では抜本的な人員・文化改革を考える余裕すら乏しかったとして、社外から安全を促す強い誘因が必要だと結論づけています。