OpenAI、Habitatの読取遅延を12分の1に

OpenAIは、オンラインデータ基盤Habitatの拡張と運用改善を解説しました。Azure Cosmos DBを基盤にした大規模システムで、信頼性の改善に続き、グローバルな読み取り遅延の中央値を約120ミリ秒から約10ミリ秒へ短縮したとしています。

初期の共有コンテナでは、一部の高負荷キーが他の処理に影響しました。専用コンテナへの分離は障害の範囲を狭めた一方、各チームの容量計画を複雑にし、共有方式へ戻すための改良につながっています。

Microsoft側と協力し、高負荷キーの制限や要求の優先順位、自動的な容量調整を改善しました。性能面では、近くに配置したValkeyのキャッシュを変更通知で無効化し、Rustへの移行でサービス自体の負荷も減らしています。

中央値の改善後も、遠隔地のストレージを読む遅いリクエストは課題として残ります。記事は実運用での設計変更を報告しており、単一の技術だけで全処理が12倍速くなったという意味ではありません。