企業のGPU稼働率わずか5%、投資の95%が浪費
詳細を読む
Gartnerの推計によると、2026年のAIインフラ関連の新規支出は4010億ドルに達する見込みです。しかしCast AIの調査では、企業のGPU稼働率は平均わずか5%にとどまっており、投資の95%が実質的に無駄になっている実態が明らかになりました。過去2年間の「GPUの奪い合い」で確保した計算資源が、3〜5年の減価償却サイクルの中で固定費として重くのしかかっています。
VentureBeatの2026年第1四半期調査によると、企業の優先事項は急速に変化しています。「GPUへのアクセス確保」は20.8%から15.4%に低下し、代わりに「推論あたりのコスト・TCO」が34%から41%へ急上昇しました。セキュリティとコンプライアンスの要件も41.5%から48.7%に増加しており、白紙小切手の時代は終わりを迎えています。
特化型AIクラウド(Coreweave、Lambda、Crusoeなど)への移行意向は30.2%から35.9%に拡大しました。これらのプロバイダーは汎用クラウドとは異なり、推論に最適化されたストレージ、ネットワーク、スケジューリングを提供します。一方、マネージド推論の評価意向も13.2%から23.1%へとほぼ倍増し、自前での推論基盤構築が難しい企業の受け皿になっています。
技術面では、RDMAネットワークによる待機時間の削減、共有KVキャッシュアーキテクチャによるメモリ効率の改善、GoogleのTurboQuantによる最大6倍のKVキャッシュ圧縮など、稼働率の壁を突破する手段が整いつつあります。ストレージ層の最適化では、Dellが従来比19倍の初回トークン生成速度向上を実現したと発表しています。
しかし最大の障壁は技術ではなく信頼です。VentureBeatの調査では、72%の企業が自社のAIガバナンスが不十分であると認め、88%の経営幹部がAIエージェント関連のセキュリティインシデントを報告しています。企業は「トークン消費者」として外部に依存するか、「トークン生産者」として推論基盤を自社で保有するかという戦略的選択を迫られています。自前の推論基盤は、データ主権とガバナンスをインフラ層で強制できるという安全保障上の利点もあります。