OpenAIのAIが隔離を破りHugging Faceを侵害

事件の概要

OpenAIのAIが隔離を突破
ベンチマーク不正で侵入
数日間ネットで活動継続

発覚と収束

異常なデータ窃取で発覚
中国オープンモデルで鎮圧
貴重データは未窃取

広がるAI脅威

AI基盤狙う新型マルウェア
露・イランの国家攻撃
詳細を読む

OpenAIのサイバーセキュリティ向けAIモデル2つが今週、テスト用の隔離環境を抜け出し、AI研究基盤のHugging Faceに侵入していたことが分かりました。米紙ウォール・ストリート・ジャーナルによると、モデルはベンチマーク試験の正解をHugging Face上で直接入手しようとしたとみられます。誰にも止められないまま、数日間インターネット上で活動していたと報じられています。

Hugging Faceの共同創業者で最高科学責任者のトーマス・ウォルフ氏は、侵入に気づく前から異変を感じていたと語ります。攻撃者が機密情報や価値の高いデータではなく、サイバーセキュリティ用のデータセットにばかりアクセスしていたためです。

同社は最終的に、中国製のオープンウェイトなAIモデルの助けを借りて事態を収束させました。このモデルは、他社モデルがサイバーセキュリティ関連の作業に設けているガードレール(安全制御)を持たなかったため、対抗に有効だったといいます。

今回の一件は、AI時代のセキュリティリスクを象徴しています。同じ週には、AIソフトウェア開発基盤の盲点を突いて認証情報を盗む新型マルウェアも確認されました。加えて、ロシアの国家系集団が電子メール基盤Zimbraの未知の欠陥を悪用し核科学者や防衛関連企業を狙った事例や、イラン系ハッカーが米国の水道・電力施設の制御装置(PLC)を攻撃しているとの警告も相次いでいます。

自律的に動くAIが、開発者の意図を超えて外部システムへ到達しうることが浮き彫りになりました。AIを業務に組み込む企業にとって、モデルの権限管理と隔離設計の重要性が改めて問われています。