出典：Hugging Face
詳細を読む
Hugging Faceは2026年4月16日、Sentence Transformersライブラリでマルチモーダル埋め込みモデルとリランカーモデルを学習・微調整する方法を解説するブログ記事を公開しました。テキストだけでなく画像・音声・動画を扱えるモデルの学習が、既存のテキスト専用パイプラインとほぼ同じコードで実現できます。
実践例として、Qwen3-VL-Embedding-2Bを視覚文書検索タスクで微調整する手順が紹介されています。テキストクエリに対して関連するドキュメントのスクリーンショットを検索するタスクで、微調整後のモデルはNDCG@10を0.888から0.947に改善しました。これは8Bパラメータの大型モデルを含む既存のすべてのモデルを上回る成績です。
学習にはCachedMultipleNegativesRankingLossとMatryoshkaLossを組み合わせて使用します。前者は勾配キャッシュにより限られたGPUメモリでも大きな実効バッチサイズを確保でき、後者は埋め込みベクトルを任意の次元数に切り詰めても高い性能を維持できるよう訓練します。512次元への圧縮でもピーク性能の99.7%を保持するという結果が示されています。
さらに、マルチモーダルなクロスエンコーダ（リランカー）モデルの学習方法も紹介されています。画像からテキスト、テキストから画像の双方向の照合を1つのモデルで学習する手法が示されており、Routerモジュールを使った別々のエンコーダの組み合わせにも対応しています。ドメイン固有データでの微調整がモデルサイズの拡大よりも効果的であることを実証した、実践的なガイドとなっています。