AWS、Bedrockバッチ推論の性能・コスト監視を強化

Amazon Web Services（AWS）は、生成AIサービス「Amazon Bedrock」のバッチ推論ジョブを監視する新機能を発表しました。監視ツール「Amazon CloudWatch」と連携し、処理の進捗状況を詳細なメトリクスで追跡できます。これにより、利用者は大規模なAIワークロードのパフォーマンスやコストを正確に把握し、運用効率を最適化することが可能になります。

Amazon Bedrockのバッチ推論は、リアルタイム応答が不要な大規模データ処理に適した機能です。オンデマンド推論より50%低いコストで、履歴データ分析や大量のテキスト要約などを効率的に実行できます。今回の機能強化は、このコスト効率の高い処理の運用性をさらに高めることを目的としています。

新機能では、Bedrockのバッチ推論ジョブに関するメトリクスがCloudWatchに自動で発行されます。これにより、カスタムの監視ソリューションを構築する手間なく、アカウントレベルでジョブの進捗を可視化できるようになりました。大規模ワークロードの管理がこれまで以上に容易になります。

監視できる主要なメトリクスは4つです。「処理待ちトークン数」「処理待ちレコード数」でジョブの進捗を把握し、「毎分入力トークン処理数」「毎分出力トークン処理数」で処理速度を測定します。これらにより、性能とコストの定量的評価が可能になります。

AWSは監視機能のベストプラクティスも提示しています。トークン処理数からコストを予測・最適化する、スループットを監視して性能低下時にアラートを発する、処理待ちレコード数がゼロになったことをトリガーに後続ワークフローを自動起動する、といった活用が考えられます。

CloudWatchの機能を使えば、特定のしきい値を超えた際に通知を送るアラームを設定したり、関連メトリクスを一覧表示するダッシュボードを構築したりできます。例えば、トークン処理数が一定量を超えた際に運用チームへメール通知する、といった自動化が可能です。

今回のアップデートでは、監視機能に加えて、バッチ推論がサポートするモデルも拡大されました。Anthropic社のClaude Sonnet 4などが追加されています。また、新しいモデルではバッチ処理のスループットも向上しており、より迅速な大規模処理が期待できます。