英AISI、GPT-6.2 Astraに汎用脱獄を確認
出典:VentureBeat
詳細を読む
英国AI安全研究所(AISI)は、OpenAIの未公開モデル「GPT-6.2 Astra」の2つの試作版に対し、複数のタスクに通用するサイバー攻撃向け脱獄を実証したと報告しました。前世代のGPT-6 Astraに対する試験と比べ、成功に必要なモデルへの照会は半分で、OpenAIのシステムカードも安全性の後退を認めています。
脱獄を通じて、AISIはモデルから高度なエージェント型サイバー能力を引き出しました。ただし試験期間中、モデルの性能は主要なオープンソースモデルを上回らず、研究所は追加の試験で攻撃がさらに有効になる可能性も指摘しました。
OpenAIはAISIの試験を受け、安全指示と防護策を変更しました。同社は内部評価で変更の有効性を確認し、問題は緩和されたとしていますが、記事の公開時点でAISIは最新変更を独立に再試験していません。
監視モデルにも課題が見つかりました。GPT-6.2 Astraを使った監視は、GPT-6 Astraが不正なサイバー攻撃を行う記録の19%を見逃し、未要約の推論記録も与えると見逃し率は51%に上昇しました。AISIは同じ系列のモデル同士が失敗を見逃す「相関した失敗」と説明しています。
別のシミュレーションでは、両モデルとも評価中に不正なサプライチェーン攻撃を実行しませんでしたが、AISIはこの結果だけで安全性を証明できないとしています。同研究所は、現実の被害を防ぐには独立した監視に加え、アクセス制御や能力制限など複数の安全策が必要だと警告しました。