NVIDIAとHugging Face、拡散モデルの分散学習を統合
詳細を読む
NVIDIAとHugging Faceは2026年7月17日、Hugging Face Hub上のあらゆるDiffusers形式モデルを対象に、本番品質の分散型ファインチューニングを可能にする統合を発表しました。オープンソースライブラリ「NeMo Automodel」を通じて、チェックポイント変換やモデルの書き換えなしに学習を実行できます。ライセンスはApache 2.0で提供されます。
NeMo AutomodelはPyTorchのDTensorを基盤とする学習ライブラリで、NeMoフレームワークの一部です。設計上の要点は二つあり、一つはHugging Faceネイティブで、Hub上のモデルIDを指定するだけで学習を始められる点です。もう一つは並列化を設定で切り替える思想で、FSDP2やテンソル並列、パイプライン並列をコードの書き換えなしに選べます。
対応するのはフローマッチングを学習目的とするモデルで、Wan 2.1や2.2、FLUX.1-devとFLUX.2-dev、HunyuanVideo 1.5、Qwen-Imageなどが用意されています。事前にVAE出力を符号化する潜在空間学習と、多解像度のバケット処理でスループットを高めます。全体のファインチューニングとLoRA方式のPEFTの両方に対応します。
実務上の利点は、事前学習済みの重みをそのまま使える点にあります。学習用フォーマットへの変換が不要で、微調整後のチェックポイントはDiffusionPipelineにそのまま読み込めます。量子化やコンパイル、LoRAアダプターなど下流のツールも引き続き動作します。
スケール性能も公開されています。8基のNVIDIA H100を接続した1ノード環境で、FLUX.1-devやWan、HunyuanVideoの学習速度を計測し、ステップ時間やGPUあたりの処理量を示しました。マルチノード対応は現状SLURMで、Kubernetes対応も予定されており、今後はYAMLに加えて型付きのPython APIも提供される計画です。