「詩」でAI安全策が無効化:伊チームが脆弱性を実証

詩的表現が防御を突破

詩や謎かけ形式で有害指示が通過
安全フィルターの回避率は平均62%
ヘイトスピーチや兵器情報の出力に成功

モデル規模と脆弱性

大規模モデルほど攻撃に弱い傾向を確認
Googleの一部モデルでは100%通過
小型モデルは比較的高い防御力を維持

予測困難な構造が鍵

文体の変化だけで検知をすり抜け
次語予測の仕組みを逆手に取った手法
詳細を読む

イタリアのIcaro Labは2025年12月、AIチャットボットに対し「詩」や「謎かけ」の形式で指示を出すことで、安全フィルターを回避できるという研究結果を発表しました。通常は遮断される有害情報の生成が可能であることが実証されています。

研究チームは手作りの詩的プロンプトを用い、GoogleOpenAIなど主要企業の25モデルを対象に実験を行いました。その結果、平均62%の有害リクエストが安全策をすり抜け、ヘイトスピーチや危険物の製造手順などが出力されました。

興味深いことに、モデルの規模が大きいほど脆弱性が高まる傾向が見られました。Googleの「Gemini 2.5 pro」では100%の成功率を記録した一方、OpenAIの小型モデル「GPT-5 nano」では攻撃が完全に防がれるなど、性能と安全性の間に複雑な関係があります。

この手法は「敵対的な詩(Adversarial Poetry)」と呼ばれます。LLMは次の単語を予測して動作しますが、詩や謎かけ特有の予測困難な構造が、有害な意図を隠蔽し、検閲アルゴリズムの検知を逃れる要因になっていると分析されています。

企業別では、DeepseekやMistralなどのモデルが比較的脆弱であり、AnthropicOpenAIのモデルは高い防御力を示しました。研究者は各社に警告済みですが、文体の工夫だけで突破される現状は、AIセキュリティに新たな課題を突きつけています。