出典：Hugging Face
詳細を読む
Dharma AIは2026年10月21日、用途特化した小型言語モデル（SLM）の語彙を推論コスト基準で再設計する手法「VocabX」の検証結果を公表しました。ポルトガル語作文を採点するQwen3-4Bで、基盤モデル、学習データ、学習手順を変えずに、平均出力を350から101トークンへ短縮し、RTX 5090上で測った推論費を77.0％削減したとしています。
一般用途のトークナイザーは、多言語やコード向けの語彙まで抱え、特定業務で頻出する文言を細かく分割します。採点モデルでは、生成のたびに15万1669件の語彙を採点し、定型のJSONや評価表現にも余分なトークンを費やしていました。
VocabXは頻度ではなく、削減できる時間と費用で候補を選びます。この環境では生成トークンを入力の7.4倍重く評価し、ドメイン向けの部分語と、定型句やJSON全体をまとめるマクロトークンを組み合わせました。
同じ500件を処理した比較では、出力層の語彙を約15万2000行から約6万5000行へ縮小しました。評価精度などを合わせたベンチスコアも0.703から0.810へ上がりましたが、成績そのものをJSONと一体化した初期案では0.689へ低下しています。
この結果は、圧縮率だけでなく、モデルが判断すべき語を独立して残す設計の重要性を示します。5分野と3モデル系列の全15条件でも既存手法を上回った一方、論文は査読中で数値は公開前に変わる可能性があり、導入時には自社の出力形式と実機での検証が必要です。