BlockのDessa、端末で自然な音声会話

TechCrunchは、Blockが紹介した音声モデルDessaの特徴を報じました。人の会話音声だけで学習し、話しながら相手の声を聞く全二重のやり取りや、笑い、間、感情的な話し方を表現するモデルとされています。

Blockは、声をいったん文字へ変換する仕組みでは、感情や話し方に含まれる情報が失われると説明しています。Dessaの知識も会話データに由来するとされ、一般的な知識検索用の言語モデルと組み合わせる設計とは異なります。

公開デモでは、疲れた話し方や声が詰まるような表現が紹介されました。ただし、感情表現の制御方法の詳細は明らかではなく、自然な声が正確な知識や理解を保証するわけではありません。

M4 Max以上のコンピューターでローカル実行できるとされていますが、記事時点では一般には公開されていません。Blockは安全性研究者に検証を呼びかけており、人を誤認させるほど自然な音声の影響も課題になります。