Salesforce、AWS活用でLLM運用コスト40%削減

クラウド大手のセールスフォースは、AWSのAIサービス「Amazon Bedrock」を導入し、自社でカスタマイズした大規模言語モデル（LLM）の運用を効率化しました。これにより、モデルのデプロイにかかる時間を30%短縮し、インフラコストを最大40%削減することに成功。AI開発の生産性向上とコスト最適化を両立した事例として注目されます。

同社はこれまで、ファインチューニングしたLLMを自社で運用していましたが、インフラの最適化や設定に数ヶ月を要し、運用負荷の高さが課題でした。また、ピーク時の需要に備えてGPUリソースを常に確保する必要があり、コストが嵩む一因となっていました。

そこで採用したのが、Bedrockの「カスタムモデルインポート」機能です。これにより、インフラ管理の大部分をAWSに任せ、チームはモデル開発やビジネスロジックに集中できるようになりました。既存の運用フローへの影響を最小限に抑え、スムーズな移行を実現しています。

移行の鍵は、既存システムとの後方互換性を保つハイブリッド構成です。アプリケーションからのリクエストをまずSageMakerのCPUコンテナで受け、前処理を行った後、GPUを要する推論処理のみをBedrockに転送。これにより、既存のAPIや監視ツールを変更することなく、サーバーレスの利点を享受できました。

導入後の効果は顕著です。インフラ選定などの複雑な作業が不要になり、モデルのデプロイ時間は30%短縮されました。コスト面では、従量課金制への移行により、特に開発・テスト環境など利用頻度に波がある場面で効果を発揮し、最大40%のコスト削減を達成しました。

一方で、大規模モデルでは「コールドスタート」と呼ばれる初回起動時の遅延が発生する点は注意が必要です。同社は、遅延が許容できない本番環境では、定期的にエンドポイントにアクセスして「ウォーム」状態を維持する対策を講じています。自社モデルがサポート対象かも事前に確認すべきです。

Salesforceの事例は、サーバーレスAIが本番環境のワークロードにも十分対応できることを示しています。特にトラフィックが変動するAIアプリケーションにおいて、コストと運用の両面で大きなメリットをもたらすでしょう。LLMの自社運用に課題を抱える企業にとって、有力な選択肢となりそうです。