Hume、音声AIの人間らしさ測る新指標を公開

音声AI基盤企業のHumeは7月15日、音声対話の人間らしさを測る新ベンチマークReal World VoiceEQを公開しました。従来指標が単語誤り率や遅延に偏り飽和状態に近づく中、声のトーンや感情、話者の同一性など文字起こしでは捉えられない音響情報を扱えるかを評価する狙いです。40超の商用・オープンソースモデルを対象に、15以上の評価軸と60超の指標で測定します。

この指標は、多様な属性や話し方、音響環境の下で集めた100万件を超える人間の評価を基盤としています。現在の内訳はTTS評価が78万5千件、STS評価が4万8千件に達し、音声AIの人間評価として過去最大級の規模だといいます。評価はすべて同社の音声特化基盤Kairos上で実施され、企業や研究機関が独自評価やRLHFによるモデル改善に転用できる設計です。

評価から浮かんだのは、あらゆる能力で首位に立つ「最良の音声モデル」は存在しないという事実でした。予約番号や口座情報を正確に復唱するモデルが感情表現に弱く、自然に聞こえるモデルが精密性で劣るなど、技術的正確性・感情理解・表現力・頑健性で強みが分かれます。TTS評価では8つの能力群すべてで上位5位に入る構成は一つもありませんでした。

音声対話モデルは全カテゴリで最も差が大きく、感情の認識に長けても自然な応答が苦手な例が目立ちました。音声を扱えても非言語情報を実際に使うとは限らず、多くのモデルは語句に依存し、間や強調、ためらいといった手がかりを見落とします。例えば銀行の本人確認で自信ある「はい」とためらいがちな「…はい…」は意味が異なりますが、多くのモデルはこの差を捉えられません。

既存ベンチマークの限界も明確になりました。雑音を背景にした音声の書き起こし誤り率は音楽背景の約4倍に達し、単一の背景音スコアが本当の弱点を覆い隠すと指摘します。さらに一部のモデルは公開ベンチマークに最適化された兆候を示し、参照文の既知の誤りを再現したり、音声に存在しない伏字を復元したりする例も確認されました。

同社は、テキスト評価で普及するLLM流用と同様に音声言語モデル(SLM)を評価者に使う手法には慎重さを求めます。発音精度など明確な正解がある課題では人間評価者との一致度が高い一方、声が役柄に合うかなど主観的な判断では一致度が低下したためです。速度と正確性だけでなく、人間のように理解し表現できるかが今後の音声AIの成否を分けると結論づけています。