MIT・コーネル大、AI文章検知を変化に適応
検知器の弱点
文体の変化で精度が低下
人間風に加工した文を見逃す
運用中に学習
未ラベルの文章で適応
再学習なしで新傾向に対応
実験で精度向上
偽装文の検出率93%
文体変化下で正答率85%
出典:MIT News
詳細を読む
MITとコーネル大学の研究チームは、AI生成文の検知器を運用中の文章に合わせて更新する手法を示しました。テスト時適応(TTA)により、正解ラベルのない新しい文章から傾向を学び、モデルを一から再学習せずに、文体の変化や検知回避の加工に対応することを目指します。
AI文章検知器は、学習時と異なる文体や新しい大規模言語モデルの出力に弱く、人間らしく書き換える「ヒューマナイザー」にも欺かれる場合があります。研究チームは、こうした変化を「分布のずれ」と捉え、公開後も検知モデルを適応させる方法を検証しました。
TTAでは、利用者が入力した新しい文章を、AI製か人間製かのラベルなしでモデルに取り込みます。実験では、AI文と人間文を含むデータに検知回避を狙った例も加え、適応後のモデルを正解が分かっているデータで評価しました。
文体が時間とともに変わる条件では、TTAを使った検知器の正答率は85%で、従来手法の73%を上回りました。検知を逃れるよう加工されたAI文章では、既存手法が約27%しか識別できなかったのに対し、TTAでは93%超を検出しました。
教育、出版、採用やフィッシング対策など、著者の確認が重要な場面での活用が考えられます。ただし研究者は、将来のモデルがさらに自然な文章を生成すれば人間の文章との区別が難しくなり、検証可能な人間の文章も不足する恐れがあると指摘しています。