MITが学習中にAIモデルを圧縮、訓練を最大4倍高速化

米マサチューセッツ工科大学（MIT）CSAILなどの研究チームは2026年4月9日、AIモデルを学習しながら同時に圧縮する新手法「CompreSSM」を発表しました。従来は大型モデルを訓練後に枝刈りするか、小型モデルを最初から訓練するかの二択で性能と効率のトレードオフが避けられませんでしたが、この手法は訓練の途中で不要な内部次元を切り落とすことで両立を実現します。状態空間モデル（SSM）を対象に、言語処理から音声生成、ロボティクスまで幅広い応用が視野に入ります。

鍵となるのは、制御理論由来のハンケル特異値という数学的指標です。研究チームは各内部状態がモデル全体の挙動にどれだけ寄与するかを測定し、訓練のわずか約10%の段階で重要度ランキングが安定することを発見しました。その後は不要な次元を外科的に除去し、残り90%の訓練を大幅に軽量化されたモデルで進めることが可能になります。

ベンチマークの結果は顕著です。画像分類タスクでは、圧縮モデルがフルサイズと同等の精度を保ちながら訓練速度を最大1.5倍に引き上げました。広く使われる状態空間アーキテクチャ「Mamba」では128次元モデルを約12次元まで圧縮し、約4倍の訓練高速化を達成しています。CIFAR-10では4分の1サイズで85.7%の精度を記録し、同サイズをゼロから学習した場合の81.8%を上回りました。

既存手法と比べた優位性も明確です。訓練後に削る従来の枝刈りや、教師モデルと生徒モデルを二重に訓練する知識蒸留と異なり、CompreSSMは訓練中に情報を基に判断するためコスト増を避けられます。スペクトル正則化手法と比較しても40倍以上高速で、精度も上回ったといいます。

一方で制約もあります。この手法は内部状態の次元と性能の相関が強いモデルで最も効果を発揮し、単入力単出力の構造では恩恵が限定的です。理論は線形時不変系に最も適合しますが、チームはMambaのような時変系への拡張も進めています。論文はICLR2026で発表予定で、将来的には線形注意機構やトランスフォーマー系への応用も視野に入れています。