Googleが初のDP-LLM「VaultGemma」発表。プライバシー保護と性能の両立へ

Google Researchは、AIが訓練データを記憶し、機密情報を漏洩させるリスクに対応するため、初のプライバシー保護型大規模言語モデル（LLM）「VaultGemma」を発表しました。同時に、差分プライバシー（DP）をLLMに適用する際の性能と計算資源のトレードオフを規定する「DPスケーリング法則」を確立しました。この技術開発は、機密性の高いユーザーデータや著作権データに依存せざるを得ない今後のAI開発において、プライバシー保護とモデル性能の両立を図る上で極めて重要です。

LLMは非決定論的な出力をしますが、訓練データに含まれる個人情報や著作権データをそのまま出力してしまう、いわゆる「データ記憶」のリスクが常に伴います。VaultGemmaは、この記憶を防ぐために差分プライバシー（DP）を適用したモデルです。DPでは、モデルの訓練フェーズにおいて意図的に調整されたノイズを加えることで、特定の訓練データの影響を最小限に抑え、ユーザープライバシーの侵害を確実に防止します。

これまで、DPの導入はモデルの精度低下や計算要件の増大といった欠点を伴うため、その適用には慎重な判断が必要でした。しかし、Googleの研究チームは、モデルの性能が主に「ノイズ対バッチ比率」に影響されるという仮説に基づき、大規模な実験を実施しました。その結果、計算予算、プライバシー予算、データ予算の3要素の均衡点を見出すDPスケーリング法則を確立したのです。

このスケーリング法則の核心は、ノイズの増加がLLMの出力品質を低下させることを定量化した点にあります。開発者は、プライバシーを強化するためにノイズを増やした場合でも、計算リソース（FLOPs）やデータ量（トークン）を増やすことで性能低下を相殺できることが分かりました。この法則は、開発者が最適な「ノイズ対バッチ比率」を事前に設計し、プライバシーと性能の理想的なバランスを追求する道を開きます。