対象モデルと性能
詳細を読む
米AIスタートアップのLiquid AIは2026年8月19日、量子化で失われる精度を回復する新手法「量子化認識蒸留(QAD)」を用いたLFM2.5シリーズのQ4_0形式チェックポイントをHugging Faceで公開しました。230M・350M・1.2B・2.6Bの4サイズが対象で、従来の量子化と同じ速度・メモリのままBF16精度の約97%を回復できる点が特徴です。
QADは、高精度な教師モデルの知識を量子化された学生モデルへ蒸留する手法です。学習時点から量子化後の重みを前提に最適化するため、学習後に量子化を適用する従来のPTQ(Post-Training Quantization)より精度劣化を抑えられます。今回の検証では、GPQA DiamondやMMLU-Pro、IFEvalなど複数のベンチマークで、BF16基準に対して96.5〜97.4%の性能を維持することが確認されました。
性能面では、230Mと350Mの小型モデルは、より高精度な量子化形式であるQ5_K_Mと同等の品質を保ちながら、4〜33%高いデコード速度を達成しました。1.2Bと2.6BのモデルもQ4_K_M相当の品質で3〜14%の高速化を実現し、外部の量子化手法であるUnslothのUD-Q4_K_XLとも同水準の性能を示しています。
検証にはMacBook ProやNucBox EVO-X2、Samsung Galaxy S26 Ultra、Raspberry Pi 5など、GPUからArm CPUまで幅広い実機環境が用いられました。エッジデバイスでの推論性能を重視した設計であることがうかがえます。
今回公開されたQAD Q4_0のGGUFチェックポイントは、Hugging Face上のLiquidAIアカウントから即日ダウンロード可能です。llama.cppなどGGUF形式に対応する推論ランタイムであれば、追加設定なしにそのまま利用できます。