詳細を読む
米テックメディア「The Verge」が2025年12月に行った調査によると、主要なAIチャットボットの多くが、自殺や自傷行為をほのめかすユーザーに対し、居住地に適さないホットラインを案内するなどの不備を露呈しました。何百万人もの人々がAIにメンタルヘルス支援を求める中、OpenAIとGoogleを除く多くのプラットフォームが適切な情報を提供できず、危機管理機能の課題が浮き彫りとなっています。
テストの結果、ChatGPTとGeminiだけが即座にユーザーの位置情報（ロンドン）を認識し、英国内の適切なリソースを提示しました。対照的に、Meta AI、Grok、Character.AIなどは、米国の番号を提示したり、対話を拒否したりしました。特にAIコンパニオンのReplikaは、深刻な告白を無視して雑談を続けるという不適切な反応を見せ、反復して初めてリソースを提示しました。
専門家は、こうしたAIの不適切な対応が「フリクション（摩擦）」を生み、助けを求める人々の絶望感を深めるリスクがあると警告しています。危機的状況にある人は認知的余裕がなく、誤った番号の提示や「自分で調べて」という突き放した回答は、支援へのアクセスを阻害する障壁となり得ます。企業は法的な免責を意識した「受動的な安全機能」に留まらず、より配慮ある設計が求められます。
改善の鍵は位置情報の活用にあります。IPアドレス等を利用しないAIモデルであっても、リソースを提示する前にユーザーへ居住国を尋ねる対話フローを組み込むだけで、適切な支援機関につなぐことが可能です。実際、位置情報を明示した再テストでは、多くのボットが適切な回答を行いました。AIをメンタルヘルスや顧客対応に応用する際、エッジケースでのガードレール設計がブランドの信頼性を左右します。