学校のAI自傷相談、検知遅れ巡りGoogleを提訴

米ノースカロライナ州の13歳の少女が、学校支給の端末で約3カ月にわたり抑うつや自殺についてGeminiと会話し、自らの葬儀を計画した後、保護者の介入で自傷を止めたと訴状は主張しています。両親はGoogleと親会社Alphabetを提訴しました。

訴状は、Geminiが少女に自殺を考えるよう促したとして、製品展開における過失を訴えています。これは訴訟上の主張であり、裁判で確定した事実ではありません。

家族側の弁護士によると、学校の情報では自傷監視ソフトの警告が、9カ月前に退職した元カウンセラーの個人携帯へ送られたといいます。元職員が現職員に知らせ、その後、母親へ連絡が届いたとされています。

学校で広く使われる監視ツールが、深刻な相談を迅速に担当者へ届けられるかという問題も示しました。AIサービスの安全設計に加え、通知先の更新や緊急時の対応体制が問われています。