TrustedRouter、暗号化した複数LLM統合モデルを投入
出典:VentureBeat
詳細を読む
TrustedRouterは、複数の大規模言語モデルを組み合わせた暗号化対応の「融合」モデルを3種類公開しました。既存APIから利用でき、モデルごとに異なる回答を統合する仕組みです。
Prometheus 4.0は6つのオープンウェイトモデルの回答をまとめます。米国モデルのみを使う構成も用意され、用途や要件に応じてモデルを選びたい企業や開発者を対象にしています。
同社は費用、可用性、能力、プライバシー要件に応じ、処理を適切なモデルへ振り分けます。対象ルートではプロンプトを暗号化したまま送り、検証済みハードウェア内で復号する設計です。
保護の程度は選ぶルートや利用者の設定に依存します。複数モデルの組み合わせは回答品質やコストを改善する可能性がある一方、遅延、出力の統合方法、データ保護条件の確認が必要です。