詳細を読む
AIモデル圧縮を手がけるMultiverse Computingは8月25日、4bit量子化しても精度を落とさない新手法「Quantization-Aware Healing(QAH)」を発表しました。オープンモデル『GPT-OSS』の120Bを60Bに圧縮し4bit(MXFP4)化した結果、9種のベンチマーク中7種目で圧縮前の高精度(bfloat16)版を上回る性能を記録しました。
従来、モデルを構造的に圧縮したうえで量子化する場合、精度回復（ヒーリング）の手法には課題がありました。量子化を意識した学習(QAT)は学習コストが高く、長時間学習すると性能が不安定になります。蒸留による手法(QAD)は圧縮後に回復させたモデル自体を教師とするため、教師モデルの性能上限に回復後のモデルの精度が制約されるという構造的な限界を抱えていました。
QAHはこの制約を、圧縮前のオリジナルモデルから直接知識を蒸留することで解消します。教師モデルは非圧縮のフルサイズ・フル精度モデルで、生徒モデルはサイズもアーキテクチャも異なる圧縮済み4bitモデルです。生徒は正解ラベルではなく、KLダイバージェンスを用いて教師の出力分布そのものを学習することで、回復段階で失われていた情報を取り戻します。
ベンチマークでは、QAHで学習した60BのMXFP4モデルが、9項目中7項目で自身のbfloat16版を上回りました。特に伸びが大きかったのは長文推論(AA-LCR)で7.4ポイント、数学(AIME 2025)で5.6ポイントの向上でした。さらにコーディング評価のLiveCodeBenchでは、パラメータ数が2倍ある非圧縮の120B教師モデルの性能さえ上回っています。
従来手法のQATとの比較実験でも、QAHの優位性が確認されました。QAHは約100ステップでピーク性能に到達し、その後も性能が大きく落ちないのに対し、QATはピークまで約700ステップを要したうえ、そこから1200ステップまでに約19ポイントも性能が低下しました。この違いは、固定した教師分布に近づけば追加の学習圧力がかからないQAHの損失関数の性質によるものです。
効率面でも成果は大きく、QAHモデルはbfloat16版に比べて重みメモリを4分の1に削減し、120B教師モデルと比べると1トークンあたりの計算量もほぼ半減しました。bfloat16で提供されるモデル系列であれば、圧縮と量子化を組み合わせることで計算量を最大8分の1まで削減できるとしています。今後は他のアーキテクチャや用途でもQAHの効果検証が期待されます。