埋め込み圧縮の学習で検索品質を97.8％維持

Hugging Faceは、複数ベクトル型埋め込みモデルの検索品質を保ちながら、文書ベクトルを圧縮する学習方法を紹介しました。類似するトークンベクトルをまとめるプーリングを前提に、重要な情報を残すようエンコーダーを訓練します。

通常の学習モデルでは、pool_factorを4にしたとき、NanoBEIRのnDCG@10が非圧縮時の94.6％に保たれました。プーリングを意識した学習では、同じ保存容量で97.8％を維持したと記事は報告しています。

複数ベクトル検索は表現力が高い一方、大規模コーパスではベクトル保存量が膨らみます。圧縮率を高めると検索に必要な情報が失われやすくなるため、学習時に圧縮後の用途を織り込む考え方です。

記事ではSentence Transformersを使った実装例と品質・容量の比較を示しています。結果は評価データと設定に基づくものであり、実際の検索システムでの効果はデータや検索要件に応じて測定する必要があります。