Hugging Face、音声認識のヒンディー語追加で地域差露呈

Hugging Faceは2026年8月28日、音声認識モデルを比較するOpen ASRリーダーボードに、Voice Arenaと共同開発したヒンディー語の評価セット「Monsoon」を追加したと発表しました。南アジア言語として初の追加で、話者属性を詳細に記録し、平均WERでは見えない地域や話者ごとの認識精度の偏りを可視化する狙いがあります。

新たに追加されたMonsoonデータセットは、4,888人の話者による発話を収録し、性別や年齢、居住地区、使用端末など12項目の話者属性を各クリップに付与しています。話者の重複を避けた分割により、上位10人の寄与度は全体の7%未満に抑えられ、特定の声や地域に結果が偏らない設計になっています。

公開データを用いた検証では、インド英語の音声認識で平均WERが4.81〜4.99とほぼ同水準だった8モデルが、地域別に見ると大きく異なる挙動を示しました。mistralai/Voxtral-Mini-3Bは中央部で4.38、東部で6.06と1.68ポイントの差が生じ、どの地域が最も苦手かもモデルごとに異なっていました。

ヒンディー語は英単語との混在や表記揺れが多く、単一の正解文字列を基準にした従来のWERでは公平な採点が困難でした。そこでチームは、複数の正しい表記を許容する採点方式「Orthographically-Informed Word Error Rate(OIWER)」を導入し、実装コード「voi-oiwer」もオープンソースで公開しています。

インド英語のセットは主要リーダーボードの既定列に組み込まれ、全モデルの平均WERに反映されます。ヒンディー語は多言語タブに追加され、対応言語をすべて選択した場合のみ比較対象になります。開発者は自身のモデルをリーダーボードに登録することで、非公開分割を含めた評価を受けられます。