Hugging Face、32GB端末でMoE推論を高速化

専門家だけを読み込む

SSDから必要な専門家を配信
共有キャッシュで計算を効率化

M5で性能を検証

生成速度は毎秒13.9トークン
短文生成でStrataに約6%差

実用化への課題

長文入力は毎秒228トークン
同期処理が残る性能制約
詳細を読む

Hugging Faceのタレク・ジアデ氏は11月18日、メモリー32GBのMacBook M5で大規模な混合専門家(MoE)モデルを動かすため、必要な専門家だけをSSDから読み込む仕組みをTransformers向けに開発したと発表しました。量子化とキャッシュを組み合わせ、生成速度は毎秒13.9トークンに達し、同じ端末で動かした推論エンジンStrataとの差を約6%まで縮めました。

MoEモデルは多数の「専門家」部分を持ち、各トークンの処理ではその一部だけを使います。そこで全重みをメモリーに載せず、ルーターが選んだ専門家をSSDから読み、端末上の限られたキャッシュに保持します。

実装では専門家を3ビットに量子化し、12GiBのキャッシュに格納しました。48層・各512専門家を持つQwen3.8-Flash-Nextに加え、別途必要となる巨大なn-gram表もディスクから読む構成とし、6,000トークンの入力時のメモリー使用量は最大25.4GiBでした。

同じM5での最終計測は、200トークン生成が毎秒13.9トークン、4K入力の事前処理が毎秒228トークン、長文後の生成が毎秒12.4トークンです。Strataに対し短文生成は約6%遅い一方、事前処理はわずかに上回りました。

残る主な制約は、各層の処理ごとにCPUとGPUがやり取りする時間です。著者はPyTorchのMPS実行基盤がGPU処理を先回りしてまとめて投入できない点を挙げ、解消にはより深い基盤改修が必要としています。