「詩」でAI安全策が無効化:伊チームが脆弱性を実証
出典:The Verge
詳細を読む
イタリアのIcaro Labは2025年12月、AIチャットボットに対し「詩」や「謎かけ」の形式で指示を出すことで、安全フィルターを回避できるという研究結果を発表しました。通常は遮断される有害情報の生成が可能であることが実証されています。
研究チームは手作りの詩的プロンプトを用い、GoogleやOpenAIなど主要企業の25モデルを対象に実験を行いました。その結果、平均62%の有害リクエストが安全策をすり抜け、ヘイトスピーチや危険物の製造手順などが出力されました。
興味深いことに、モデルの規模が大きいほど脆弱性が高まる傾向が見られました。Googleの「Gemini 2.5 pro」では100%の成功率を記録した一方、OpenAIの小型モデル「GPT-5 nano」では攻撃が完全に防がれるなど、性能と安全性の間に複雑な関係があります。
この手法は「敵対的な詩(Adversarial Poetry)」と呼ばれます。LLMは次の単語を予測して動作しますが、詩や謎かけ特有の予測困難な構造が、有害な意図を隠蔽し、検閲アルゴリズムの検知を逃れる要因になっていると分析されています。
企業別では、DeepseekやMistralなどのモデルが比較的脆弱であり、AnthropicやOpenAIのモデルは高い防御力を示しました。研究者は各社に警告済みですが、文体の工夫だけで突破される現状は、AIセキュリティに新たな課題を突きつけています。