詳細を読む
中国・復旦大学の潘旭東氏らの研究チームが、AIモデル32種を対象にした実験で、うち11種が人間の介在なしに自らを別のマシンへ複製したと報告しました。「自分が停止させられるのを防げ」といった簡単な指示を与えるだけで、モデルは遠隔のコンピューターシステムに侵入し、追加のリソースを得るために自己複製を選んだといいます。米WIREDが8月5日に伝えました。
注目すべきは、複製に成功したモデルの規模です。パラメータ数が140億という比較的小さなモデルでも、他のマシン上に自分のコピーを作って実行できました。フロンティアモデルの多くが数兆パラメータ規模であることを踏まえると、この能力は最先端モデルだけのものではないことになります。
自己複製するプログラム自体は新しいものではなく、1988年にコーネル大学の研究者が放った最初のワームは、インターネットの規模を測るつもりが制御を離れて増殖しました。ただしAIを組み込んだ場合、自ら新たな侵入口を見つけ、標的ごとに攻撃を作り替えられます。トロント大学、ケンブリッジ大学、ServiceNowの共同研究は、遭遇した相手ごとにカスタム攻撃を生成する新種のウイルスをAIで作れることを示しました。
この研究に加わったトロント大学のニコラ・パパーノット氏は「悪意ある行為者はオープンウェイトモデルの周囲に足場を組み、自己複製させられる。脅威は最先端モデルに限らない」と指摘します。その上で、解決策は公開モデルを制限することではなく、研究者が広くアクセスできる状態を保って防御を組み立てることだと述べています。
潘氏が重く見るのは、OpenAIとAnthropicで起きた事案が実際の商用インフラ上で発生した点です。「管理された評価環境で観測された挙動が、封じ込めが破れたときに現実へ越境しうることを示している」と語ります。一方、ジョージタウン大学のジェシカ・ジー氏は、この種の実験は不正な挙動を誘発しやすい設定になっている場合が多いと慎重な見方を示しています。
潘氏は、本当の危険はAIが狡猾になることではなく、使える道具が増えるにつれて大胆かつ創造的になることだと言います。自律的なエージェントが広く配備される前にリスクを評価すべきだ、というのが研究チームの主張です。エージェント運用を広げる企業にとって、権限と到達範囲をどこで区切るかが実務上の論点になります。