LLMプロキシで自動切替
詳細を読む
EC基盤大手のShopifyが、特定のAIモデルが消えても影響を受けない自社AIスタックを構築しました。同社エンジニアリング責任者のFarhan Thawar氏が新しいポッドキャストで明らかにしたもので、全エンジニアが社内のLLMプロキシ経由で複数のAIプロバイダーにアクセスし、いずれかが停止しても自動でフェイルオーバーする設計です。
中核となるのが、トークンを一括購入して全利用者を束ねるプロキシの仕組みです。あるプロバイダーで障害が起きても利用者は別のモデルへ自動的に切り替わり、作業を中断せずに済みます。実際にClaude Fable 5が停止した際も、エンジニアはClaude OpusやGPT 5.5へ自動移行し、混乱は起きなかったといいます。
Thawar氏は、企業がこうした事例から学び、最低限のバックアップ体制を整えるべきだと指摘します。特定のプロバイダーに「強く縛られない」よう、モデル間を移動できる仕組みを持つことが重要だと強調しました。これは、可用性リスクを業務継続の観点でとらえる発想です。
もう一つの柱が蒸留です。教師モデルから学んだ生徒モデルは、狭いタスクに特化した小型言語モデル(SLM)となり、汎用モデルより有利な場面があります。同社の主力AIアシスタント「Sidekick」も、加盟店向けの多数の専門サブタスクを担っています。
蒸留パイプライン「UDP」に教師モデルや学習データ、評価、目標モデルを与えると、約1日で速度・コスト・精度の評価結果が返ります。Thawar氏によれば、小型化したモデルは2倍、極端な場合は30倍も高速かつ安価になり、しかも精度が鍵だと述べました。良好なら承認手続きなしで現場が即デプロイできます。
同社はさらに利用ダッシュボードを導入し、誰が高価なトークンを使い、どのモデルがどの職種で使われているかを可視化しています。長時間の実行には「本当に意図したものか」と通知するサーキットブレーカーも用意。目指すのは「AIの反射的利用」から「AIによるてこ」への移行だといいます。