Cloudflareは2026年9月15日、検索用のアクセスを維持しながら、コンテンツのAI学習への利用を拒否する新設定「Disallow AI Training」を発表した。学習用クローラーの制御項目「Training」に追加された選択肢で、学習拒否の意思表示とクローラーの遮断を組み合わせる。Cloudflareの全プランで利用でき、ドメイン単位のセキュリティ設定画面「Security Settings」で選択できる。

AppleとGoogleでは、検索用のアクセスを許可したまま学習利用を拒否できる。MicrosoftもBingで同様の指定を受け付ける仕組みを開発しており、2027年初頭の対応を目指している。

• Have it both ways: stay discoverable in search while disallowing AI training - Cloudflare Blog

検索からの流入を保ち⁠、学習利用を選べるように

Webページを巡回して情報を収集するクローラーには、同じ収集データを検索とAI学習に使うものがある。こうしたクローラー自体を遮断すると、学習用の収集とともに検索用のアクセスも止まってしまう。

Cloudflareは、広告や購読などで運営されるサイトでは、利用者の訪問が収益を支えると説明している。同社によると、7月からクローラー事業者と直接協議してきた。協議した事業者のほぼすべてが、コンテンツの使われ方をサイト運営者が把握・制御でき、その選択が尊重されるべきだという考えに同意したとしている。

各事業者の対応を示すため、同社はクローラーを「Accountable」と分類する基準を設けた。基準には、学習やAI要約への利用を拒否する手段、利用状況の可視化、学習拒否が通常の検索結果に影響しないことなどが含まれる。すでに基準を満たす事業者に加え、期限を定めて対応を約束した事業者のクローラーも対象となる。Apple、Google、Microsoftについては、既存の機能に加え、開発中の機能を期限までに提供する約束によって、これらの基準に対応すると説明している。

Cloudflare CEOであるMatthew Prince氏は自身のX投稿で、今回の発表について、インターネットの将来のビジネスモデルを巡る戦いにおける大きな勝利だと述べている。

学習拒否の指定とクローラーの遮断を一つの設定に

クローラー自体を遮断せずに学習利用を拒否する手段は以前からあり、たとえばGoogleは2023年にGoogle-Extendedを導入している。

TrainingでDisallow AI Trainingを選ぶと、設定内容をrobots.txtに反映する機能「Bot Preference Sync」を通じて、学習拒否の指定が追加される。robots.txtは、サイト運営者がクローラーに対する指示を記載するファイルで、既存のファイルがある場合は、その内容を残してCloudflare側の指定を先頭に追加する。

アクセス制御では、Accountableに分類された検索・学習兼用クローラーを遮断せず、検索用のアクセスを維持する。Applebot、Googlebot、Bingbotがこの分類に該当する。学習利用を拒否する意思はrobots.txtで示し、Accountableに分類された検索・学習兼用クローラーを除く学習用クローラーは遮断する。

OpenAI、Anthropic、Amazon、Metaの場合は、検索用と学習用に別々のクローラーを使っている。Disallow AI Trainingを選ぶと、学習用クローラーは遮断されるが、検索用クローラーのアクセスは維持される。

Apple⁠・Googleの拒否指定を利用⁠、Bingは対応待ち

Appleでは、robots.txtでApplebot-Extendedを拒否対象に指定すると、Applebotが収集したコンテンツを同社の基盤モデルの学習に使わせないようにできる。この指定は検索順位に影響しない。Applebot-Extended自体はページを巡回せず、収集したデータの用途を制御するために使われる。

Googleも、robots.txtでGoogle-Extendedを拒否対象に指定できる。拒否できる用途には、将来のGeminiモデルの学習に加え、Geminiアプリなどが回答の根拠としてコンテンツを利用する「グラウンディング」も含まれる。この指定はGoogle検索への掲載や検索順位には影響しない。

Cloudflareによると、MicrosoftはBingでrobots.txtによる学習拒否の指定を受け付ける仕組みを開発しており、2027年初頭の対応を目指している。

Microsoftの検索部門の責任者であるJordi Ribas氏はXで、サイトやドメイン単位でコンテンツのAI学習への利用可否を指定できる仕組みを近く採用すると表明した。指定方法を他社とそろえることで、コンテンツ提供者が対応しやすくなると説明している。学習利用の指定はBingの検索結果に影響しないとも述べている。

既存設定の移行と新規ドメイン向けの推奨設定

Trainingの既存の選択肢「Block」は対象クローラーのアクセスを全面的に遮断し、「⁠Block on pages with ads」は広告を検出したページに限って遮断する。これまでは検索への影響を避けるため、どちらも検索・学習兼用クローラーを遮断対象から除外していた。今回からはApplebot、Bingbot、Googlebotも遮断対象に含まれ、検索用のアクセスにも影響する。

今回の変更前に、TrainingでBlockまたはBlock on pages with adsを選んでいたドメインは、Disallow AI Trainingへ自動移行する。検索・学習兼用クローラーも全面的に遮断したい場合は、改めてBlockを選択する必要がある。

新規ドメインの追加時には、Cloudflareは広告で収益を得ているサイトでTrainingのDisallow AI Trainingを、それ以外のサイトで学習用クローラーを許可するAllowを選択することを推奨している。検索用クローラーの制御項目「Search」は、どちらの場合もAllowとなり、Bot Preference Syncも有効になる。この設定はあとからも変更できる。