Hugging Face、モデル統合契約で不具合検出

Hugging Faceは、Transformersのモデル統合テストを共通化する「Model Integration Contract（MIC）」を提案しました。実モデルの構成を保ちながら小型化したテスト用モデル、実際の利用手順、確認済みの出力基準値を組み合わせます。

背景には、750超のモデル形式を支える大規模なテストを、すべての変更ごとに実GPUで動かすのは難しいという課題があります。MICでは軽量なモデルを一度作って固定し、CPU上で生成や学習などの利用経路を検証します。

事例では、2026年7月にT5向けの注意機構を変更した際、UMT5デコーダーが学習時に未来のトークンを参照する不具合が発生しました。小型UMT5のMICは、修正が入る9月28日までの該当コミットで回帰を検出し、出力確率や損失の差を示しました。

実証では、該当するT5契約のCI実行はCPUで13.4秒でした。MICは完全な統合テストを置き換えるものではなく、変更の段階で問題を見つける補助として提案されており、現時点ではCI上で失敗を報告する運用です。