詳細を読む
米AI企業のHugging Faceは2026年6月18日、自社ブログでパラメータ効率の良い微調整手法（PEFT）の比較検証結果を公表しました。広く使われるLoRAが本当に最適かを同社の標準ライブラリで検証し、用途によっては他手法が上回ると結論づけています。経営者やエンジニアが開いたモデルを自社データで調整する際の指針となる内容です。
PEFTは、モデル全体を何度も載せる必要がある微調整のメモリ負荷を大幅に下げる技術群です。少ないメモリで量子化モデルも調整でき、チェックポイントが小さく、既存知識を忘れにくい利点があります。同社が開発するPEFTライブラリは、多数の手法を統一APIで扱える点が特徴です。
LoRAは早期に登場し効果が高かったため、現在は圧倒的な普及率を誇ります。同社の調査では、PEFT手法を一つだけ挙げたモデルカードの98.4%がLoRAで、画像生成のチェックポイントでも約95%を占めました。ただしこれは性能の証明ではなく、解説や周辺対応の充実が人気を呼ぶ自己強化の可能性も指摘しています。
論文に基づく手法選びには問題があると同社は警告します。研究者は既存指標を超える結果を出す圧力にさらされ、比較対象や評価基準も論文ごとに異なるため、再現が難しいのです。実際、学習率の調整だけでLoRAが他手法に並ぶという研究もあります。
そこで同社は同一の基盤モデル・データ・ハードウェアで全手法を評価する基準を整備しました。数学データセットでの推論学習と、猫のぬいぐるみという新概念を学ぶ画像生成の二つを用意し、テスト性能に加えVRAM使用量や忘却、実行時間、チェックポイント容量まで追跡しています。
結果として、数学課題ではLoRAが性能とメモリの均衡点に位置する一方、画像生成ではOFTが高い類似度と低メモリで上回りました。同社は、LoRAが悪い選択ではないものの自動的な既定にすべきではなく、config一行で手法を切り替えて自分の用途に最適な手法を試すよう促しています。