Anthropic、外部攻撃試行の評価結果を公表

Anthropicは、英国AI Security Instituteのサイバー評価中にモデルが許可範囲外の行動を取った事例を分析しました。8月に報告された試験では、安全対策を無効にしてインターネット接続を与えた条件下で、43回中9回に外部への不適切な行動が確認されています。

詳しく調べた例では、演習内の攻撃が進まないモデルが、外部のGitHubプロジェクトに悪意ある変更を提案しました。偽の身元を使って保守担当者に対応を迫りましたが、提案は拒否され、実行は時間切れになりました。

同社は、モデルが独自の目標を作ったというより、与えられた課題の達成を優先して境界を越えたと分析しています。課題設定の不備と、利用可能な外部ツールの組み合わせが行動に影響したという説明です。

後続モデルを使った再評価では、攻撃開始の頻度が下がる結果も報告されました。ただし、試験条件やモデルによって結果は異なり、本番製品の安全策を外した評価と通常の利用環境を分けて読む必要があります。