Cloudflareは2026年7月1日、AIボットによるWebコンテンツ利用を用途別に制御し、AI検索での利用やエージェントによるWebページ・APIの呼び出しに対価を設定できるようにする新機能や取り組みを発表した。2025年7月1日に発表した「Content Independence Day」から1年を迎え、AIトラフィックの用途別制御、AI検索向けのシグナル活用、実際の利用に応じた支払いモデル、HTTP経由のマイクロペイメント基盤などを示した。

Cloudflareは2025年のContent Independence Dayで、AI企業が報酬なしにWebコンテンツをクロールする状況に対し、サイト運営者がAIクローラーをブロックしたり、有料アクセスを設定したりできる方針を示していた。今回の発表では、「⁠AIボットを止める」だけでなく、検索、エージェント、学習といった用途を分け、許可・制限・課金を組み合わせる方向へ焦点を移している。

Search⁠・Agent⁠・Trainingに分けてAIトラフィックを制御

新しいAIトラフィック制御では、AI関連の自動アクセスを大きく「Search」「⁠Agent」「⁠Training」に分類する。Searchは、AI検索などでユーザーの質問に答えるため、あらかじめコンテンツを収集・索引化する動作、Agentはユーザーの代わりにリアルタイムで処理を進めるアクセス、Trainingはモデルの学習や微調整のためにコンテンツを取得する動作と定義している。

• Your site, your rules: new AI traffic options for all customers

これにより、Cloudflareの全顧客はFreeプランを含め、AIトラフィックを用途ごとに管理できるようになる。2026年9月15日には新しいデフォルト設定も導入する予定で、新規にCloudflareへオンボードするドメインでは、広告が表示されるページでTrainingとAgentをデフォルトでブロックし、Searchはデフォルトで許可する。ここでいう広告が表示されるページは、広告枠を含み、人間の訪問や広告表示が収益につながるページを指す。Cloudflareは、そうしたページでは人間による閲覧を前提にしているとして、TrainingやAgentによるアクセスを別扱いにする考えを示している。

あわせて、SearchとTrainingなど複数の目的を兼ねるクローラーを、複数の分類に基づいて判定する方針も示した。たとえばサイト運営者がTrainingをブロックしている場合、Search目的も持つクローラーであっても、Trainingの分類に該当するなら最も制限の強いルールが適用される。Cloudflareは、その例としてGooglebot、Applebot、BingBotを挙げている。

Enterprise Bot Management向けには、確認済みボットやエージェントの分類をダッシュボード上で確認できる「BotBase」も提供する。

さらに、robots.txtで示すContent Signalsに、コンテンツの再利用範囲を表すuse=immediate、use=reference、use=fullを追加してテストする。use=immediateはボットがコンテンツとやり取りしても保存・再利用しないこと、use=referenceは索引化、抜粋、リンクバックまでを許容すること、use=fullは要約や再生成まで含めて許容することを示す。

Cloudflareが管理するrobots.txtを有効にしている顧客のrobots.txtには、これまで挿入されていたsearch=yes,ai-train=no（検索目的のクロールは許可し、AI学習は拒否する指定）に加えて、デフォルトの利用範囲としてuse=referenceが追加されるという。たとえば、Cloudflareが管理するrobots.txtは次のような内容になる。

User-agent: *
Content-Signal: search=yes,ai-train=no,use=reference
Allow: /

Content Signalsはアクセス制御そのものではなく、サイト運営者が望むコンテンツ利用範囲をrobots.txt上で示すものとなる。Search、Agent、Trainingの分類に基づくAIトラフィック制御はCloudflare側で許可・ブロックを適用する仕組みであり、Content Signalsはボット運営者へ利用希望を伝える別レイヤーのシグナルとして扱われる。

非人間トラフィックが過半に⁠、AI学習目的のクロールが拡大

同日に公開された「Content Independence Day, one year on」レポートでは、インターネット上のトラフィックとコンテンツ経済がこの1年で急速に変化したことも示している。Cloudflareはその背景として、生成AIの登場から約3年半で、継続的に利用する人が25億人に達し、2026年7月時点で世界人口の30％超に広がったことを挙げている。また、情報検索のためにオンラインで過ごす1時間のうち、検索結果ページやAIチャット内ではなく、ソース元のWebサイトに費やされる時間は15分にとどまるという。

• Content Independence Day, one year on: building the business model for the agentic Internet

トラフィック全体でも、50％超が非人間によるものになったとしている。Cloudflareが目的別に識別したクローラーリクエストのうち、AI学習向けの割合は2025年春の22％から2026年6月には52％へ増加した。クローラー活動全体では、Search、Agent、Trainingなどを兼ねる混合用途のクローラーも36％超を占める。一方、純粋な検索向けクロールは、サイトの発見可能性にとって重要であり続けるものの、全体に占める割合は小さく、減少しているとしている。

こうした変化は、検索エンジンにクロールを許可する代わりに参照トラフィックを受け取るという従来のWebの経済モデルを揺さぶっている。Cloudflareによると、報道機関やメディア企業が早く影響を受け、現在は小売、ソフトウェア、IT、金融にも同様の動きが広がっているとみている。特にクロールが多いカテゴリでは、人間によるトラフィックが1年未満で最大40％減少したという。

Googleについては、参照トラフィックの約88％を占める一方で、検索による発見とAI体験でのコンテンツ利用をサイト運営者が切り分けにくい点を課題として挙げた。Cloudflareは、Googleが検索とAI用途を兼ねる混合用途のクローラーを使っているため、サイト運営者がGoogle検索で見つけられる状態を保とうとすると、GoogleのAIエコシステムへの参加も切り分けにくくなるとみている。なお、Google公式ドキュメントでは、Google-Extendedはrobots.txtでコンテンツの利用範囲を指定するための名称であり、HTTPリクエストで使われる独自のユーザーエージェント文字列は持たないとしている。クロールは既存のGoogleユーザーエージェント文字列で行われ、Google検索への掲載やランキングシグナルには影響しないとされている。

AI検索向けシグナルを検証⁠、Pay Per Useの実験も

Cloudflareは、AI検索をより効率よくするための研究プログラムも開始する。同社は、Web全体の20％超がCloudflareのネットワークの背後にあるとしており、コンテンツの鮮度、品質、変更有無、トラフィックの流れといったシグナルを、参加する検索・回答エンジンが参照できるかを検証する。

• Making AI search smarter

狙いは、回答エンジンが鮮度の高いコンテンツや質の高いコンテンツを見つけやすくすることと、不要な再クロールを減らすことにある。Cloudflareのデータでは、良性ボットによるクロールトラフィックの50％超が、変更されていないページの再取得に使われているという。ページが変わっていないことを示すシグナルを利用できれば、AI企業側は計算資源を節約でき、サイト運営者側も不要なリクエストの処理負荷を減らせる。

このプログラムは検索・回答エンジン向けのシグナル提供に限られ、参加企業にコンテンツ本文を渡すものでも、基盤モデルの学習に使うものでもない。得られた知見は公開し、シグナル提供の仕組み自体も2026年内に広く利用できるようにする計画としている。

あわせて、2025年に発表した「Pay Per Crawl」を「Pay Per Use」へ発展させる実験も進める。Pay Per Crawlはクロール回数に応じて課金する発想だったが、同社は、1回だけクロールされたページが多数の回答に使われる場合や、何度もクロールされても実際には使われない場合があるとしており、クロール回数だけでは価値を測りにくいという。Pay Per Useは、クロールではなく実際の利用に応じて対価を支払う考え方で、その具体例として、Ceramic.aiやYou.comなどと連携し、コンテンツが検索結果や回答に使われたときに支払う「pay-per-query」や、有料記事・専門データのようなプレミアムコンテンツをエージェントが都度購入するモデルなどを検証する。

x402対応のMonetization GatewayでWebページやAPIに利用ごとの課金を設定

収益化の範囲は、クローラーや検索結果にとどまらない。Cloudflareは、Cloudflareで保護されたWebページ、データセット、API、MCPツールなどのリソースに対して、利用ごとの課金を設定できる「Cloudflare Monetization Gateway」の待機リストを公開した。2025年のPay Per CrawlがAIクローラーのアクセスに対価を設定する構想だったのに対し、Monetization Gatewayは任意のWebリソースやAPIを課金対象にする別の仕組みになる。

• Announcing the Monetization Gateway: charge for any resource behind Cloudflare via x402

Monetization Gatewayは、支払いポリシーとアクセス制御を単一のコントロールプレーンで管理し、支払いの検証と適用をエッジで実行する。初期段階では、HTTPの402 Payment Requiredを利用するオープンプロトコル「x402」を通じて、ステーブルコインで決済する仕組みを採用する。x402では、クライアントが支払い対象リソースを要求すると、サーバーは価格や支払い先を含む402応答を返す。クライアントが支払い証明を添えて再リクエストすると、検証後にリソースが返される。

計画中の機能として、特定のRESTメソッドやURLパスへのリクエスト課金、画像生成や大規模データ処理のように計算量が変わる処理への可変価格、認証されていない呼び出しだけに402応答を返す設定などが挙げられている。こうした支払い・アクセス制御のルールは、ダッシュボードのほか、Cloudflare APIやTerraformでも管理できるようにするという。同社は、エージェントがAPI呼び出し、データセット、ツール呼び出し、計算資源などを自律的に購入する時代を見据え、リクエストそのものが取引単位になると見ている。

Attribution Business Insightsでボット利用を可視化

関連する同日発表として、Cloudflare Bot Management顧客向けに「Attribution Business Insights」ダッシュボードも提供された。このダッシュボードでは、コンテンツページへのボットトラフィック、人間によるトラフィック、サイト全体やボット運営者ごとのクロール対参照比率、上位ボット、使用帯域、現在の許可・ブロック状況などを確認できる。

• Unmasking the crawls with Attribution Business Insights

Cloudflareは、AIクローラー対応をセキュリティ担当者だけの問題ではなく、出版社やコンテンツ事業者の事業判断に関わる問題と見ている。どのボットが参照トラフィックなどの事業上の価値をもたらし、どのボットが負荷だけを生んでいるのかを把握できれば、ライセンス交渉やアクセス制御の判断材料にできるとしている。

今回の一連の発表は、AIクローラーを拒否する段階から、用途別制御、可視化、利用単位の課金へ軸を広げるものといえる。