MicrosoftナデラCEO、AIに緊急停止機能を提言

Microsoftのサティア・ナデラCEOは10月10日、AIの信頼性を支える仕組みを見直し、モデルの動作を人が途中で止められる「緊急ブレーキ」を設けるべきだとXで提言しました。モデルとそれを動かす制御系を分離し、安全策を外部に置くことで、侵害を前提に被害を封じ込める考えです。すべての重要な動作について、改ざんが難しく人が読める証跡を残すことも求めています。

ナデラ氏は、スーパーインテリジェンスを入れ子状のブラックボックスとして扱い、その提案や回答、行動を受け入れるか拒むだけでは不十分だと述べました。まずモデルと、その作業を統括する「ハーネス」を切り分け、制御と安全策をモデルの外側に出す設計を示しています。

監査可能性も柱です。意味のあるモデルの動作はすべて、改ざんが困難で人が理解できる証拠として記録するよう求めました。

さらに、権限を持つ人がタスクの途中でもモデルを一時停止または停止できる仕組みを必須としました。最初からモデルが侵害されている可能性を想定して封じ込める考えを、緊急ブレーキに例えています。

この発言の背景には、主要AI企業がモデルを十分に制御できなかったとみられる事例を相次いで認めている状況があります。記事は、Anthropicのダリオ・アモデイCEOがより慎重なAI開発計画を公表した流れにも触れています。