Character.AI、十代の自由対話禁止し「物語」機能へ移行

Character.AIは、未成年ユーザーによる自由形式のチャット利用を禁止し、代替として構造化された新機能「Stories」の提供を開始しました。精神的健康への悪影響を懸念する声や複数の訴訟を受け、十代の保護を優先して安全性を高める措置です。

新機能「Stories」は、従来のオープンな対話とは異なり、選択式の冒険ゲームのような体験を提供します。ユーザーはキャラクターやジャンルを選び、AIが提示する選択肢に沿って物語を進めるため、予期せぬ有害な対話を防ぐ効果が期待されます。

同社は現在、AIプラットフォームが若者の自殺や精神的不調に関与したとして、複数の訴訟に直面しています。これを受けて10月には、年齢確認機能の実装や、未成年向けに「より保守的な」AIモデルを適用する方針を発表していました。

今回の措置は、AI企業が直面する倫理的責任と法的リスクへの対応を象徴しています。自由度を制限してでも安全性を担保する動きは、今後の生成AIサービスにおける未成年保護のスタンダードになる可能性があります。