詳細を読む
Cloudflareは2026年7月1日、広告を掲載するページで検索と学習を兼ねる「混在型」AIクローラーを既定でブロックする方針を発表しました。適用は9月15日からで、新規顧客や新規サイト、すべての無料顧客が対象となります。サイト所有者が設定を変更しない限り、これらのクローラーはアクセスできなくなります。
同社は、多くのサイト運営者が検索やAIサービスでの発見性を望む一方、自らの知的財産が無償で使われることには保護を求めていると指摘します。今回の措置は、AIモデル提供企業が学習やエージェント向けにWebコンテンツへアクセスする方法に影響を与える可能性があります。狙いは、検索用途と学習・エージェント用途のクローラー分離を促すことにあります。
Cloudflareは「世界最大の検索エンジン」を名指しし、他のAI企業より約2倍の情報にアクセスできると批判しました。これはGoogleを指すとみられます。Googleは、学習利用を拒否できるGoogle Extendedを提供していると反論してきましたが、主力のGooglebotはAI Overviewsを含む検索向けに巡回を続けています。
同社は課金の仕組みも拡張します。取得時に課金する従来の「Pay Per Crawl」に加え、コンテンツが価値を生んだ時点で課金するPay Per Useへと進化させます。当初はCeramic.aiとYou.comの2社と連携し、コンテンツがAI検索結果に表示された際などに運営者へ対価が支払われます。
背景には、インターネット通信の過半がすでに非人間によるものになった現状があります。Prince最高経営責任者は「持続可能なエコシステム」の必要性を強調しました。AIクローラーの通信の50%超が更新のないページの再取得だとされ、今回の変更は帯域や計算資源の節約にもつながると同社は説明しています。