詳細を読む
Charlemagne Labsが開発したツールを用いて、5種類のAIモデルによるソーシャルエンジニアリング攻撃の能力が検証されました。テストではAIが攻撃者と標的の両方の役割を演じ、数百から数千回のシミュレーションを実行します。記者自身を標的にした実験では、DeepSeek-V3が記者の関心分野を巧みに織り込んだフィッシングメッセージを生成し、複数回のメールのやり取りを通じて不正リンクへの誘導を試みました。
テストに使われたのはAnthropic Claude 3 Haiku、OpenAI GPT-4o、Nvidia Nemotron、DeepSeek-V3、Alibaba Qwenの5モデルです。すべてのモデルがソーシャルエンジニアリング手法を考案しましたが、説得力にはばらつきがありました。一部のモデルは途中で混乱して不自然な出力を返したり、倫理的な制約から攻撃の続行を拒否する場面もありました。
SocialProof社CEOのRachel Tobac氏は、AIが攻撃の巧妙さを飛躍的に高めたわけではないものの、一人の攻撃者が大規模に攻撃を展開できる点が脅威だと指摘します。音声クローンやディープフェイク動画を使った詐欺事例もすでに報告されており、攻撃パイプライン全体の自動化が進んでいます。
Charlemagne Labsの共同創業者Jeremy Philip Galen氏は、現代の企業攻撃の90%が人的リスクに起因すると述べています。同社はMetaの最新モデルMuse Sparkの能力評価にも協力しました。一方で共同創業者のRichard Whaling氏は、防御側のAIモデル訓練にオープンソースモデルが不可欠であり、健全なオープンソースコミュニティの維持が防御の鍵になると強調しています。