AIに使われた分を、誰が払うのか — Cloudflare の Pay Per Use と RSL が作りはじめた「クロール経済圏」
検索流入が減ったという話は、この1年で十分に語られました。キメラでもAI Overviews 時代に編集が取るべき5つの戦略などで扱ってきたテーマです。
一方で、あまり議論されていない側があります。減った流入の裏側で、自社のコンテンツは AI に読まれつづけているという事実です。読まれているのに、対価も、読まれた記録も、コントロールも、多くのメディアの手元にはありません。
ここに市場を作ろうとしている動きが、2026年に入って具体的なインフラになりました。本稿では、その動きを整理し、日本のメディア事業者が今週のうちに確認できる論点まで落とします。
2026年9月15日に何が変わるか
Cloudflare は2026年7月1日、AI クローラーの取り扱いについて既定を変更すると発表しました（TechCrunch の報道）。要点は次のとおりです。
- 適用開始は2026年9月15日
- 対象は、新規の Cloudflare 顧客、既存顧客が新たに追加するサイト、および無料プランの顧客
- AI 企業に対し、検索用のクローラーと、学習・エージェント用途のクローラーを分離することを求める
- 用途が混在したクローラーは、広告を掲載しているページから既定でブロックされる。サイト側が設定を変えれば許可できる
ここで押さえるべきは、既定値が変わるという点です。これまでは「開けておくか、止めるか」をサイト側が能動的に決める必要がありました。9月15日以降、対象となるサイトでは、何もしなければ広告面が AI 用途のクローラーから守られる状態が出発点になります。
Cloudflare 側が挙げている背景の数字も、この変更の必然性を示しています。ボットのトラフィックは既に人間のトラフィックを上回っており、AI クローラーのトラフィックのうち半分以上は、内容が変わっていないページの再取得だといいます。つまり、サーバー負荷の相当部分が、新しい情報を取りに来ていないアクセスによって発生しているということです。
Pay Per Crawl から Pay Per Use へ
もうひとつの動きが、課金モデルの前進です。
Cloudflare が先行して提供してきた Pay Per Crawl は、クロール（取得）の回数に対して課金する仕組みでした。これが Pay Per Use へと拡張されつつあります。取得したかどうかではなく、そのコンテンツが実際にどう使われたかに応じて支払いが発生する設計です。具体的には、AI の回答結果に自社のコンテンツが現れたときや、エージェントが特定のタスクのために有料の情報を購入したときに、支払いが発生します。初期のパートナーとして Ceramic.ai と You.com が挙げられています。
これは、メディアにとって意味の異なる転換です。クロール課金は、言ってしまえば通行料です。使われ方の価値とは無関係に、アクセスの回数で決まります。一方、使用ベースの課金は、自社コンテンツが AI の回答のなかでどれだけ機能したかに連動した収益になります。後者が成立するなら、「引用されやすいコンテンツ」への投資が、直接の収益として跳ね返る構造が生まれます。
ただし、これはまだ立ち上がりの段階です。パートナーの数も、単価の水準も、公開されている情報は限られます。過度な期待は禁物ですが、方向としては、AI 経由の露出を計測して収益化する市場が形になりつつある、と見るのが妥当です。
Stack Overflow は実際にどう入れたか
概念だけでは判断できないので、実装した側の記録を見ます。Stack Overflow は2026年2月、Cloudflare と組んで Pay Per Crawl を導入した経緯を公開しています。
同社が挙げている動機は明快です。従来の「開放するか、遮断するか」の二択が機能しなくなった、という認識です。ボットは正規のトラフィックを装うほど高度になり、ブロックリストの維持は追いつかない。しかも広告のインプレッションを消費していく。この状態で、コミュニティのためのアクセスは保ちながら、商用の学習利用からは対価を得たい、という要求に応える手段が必要でした。
実装は、Cloudflare のボット分類と WAF ルールの上に構築されています。特徴的なのは、アクセスを単純に拒否するのではなく、HTTP 402（Payment Required）を返す設計です。
そして興味深いのが初期の観測結果です。Pay Per Crawl を有効にしたところ、402 を受け取った時点でトラフィックの送信を止めたボットがあった、と同社は報告しています。つまり、支払ってでも取りに来る相手と、無料でなければ来ない相手が、この時点で分かれたということです。同社自身、これを「収益化の仮説を検証する実験」と位置づけています。
Cloudflare の担当者の言葉として引用されているのは、自分のコンテンツに何が起きるかは自分が決められるべきだ、という趣旨のものです。Stack Overflow 側は、大がかりな個別契約を経ずに自社の条件でアクセスを開放できる点に価値を見ています。この「大型ライセンス契約か、無防備な開放か」の中間を作る、という位置づけが、多くのメディアにとっての実際的な意味だと思います。
RSL という別の系統
同じ問題に、別のアプローチで取り組んでいるのが RSL（Really Simple Licensing）です。コンテンツのライセンス条件を機械可読な形で提示し、条件を満たすかどうかでクローラーのアクセスを制御する標準で、The Register の報道によれば、新設の非営利団体 RSL Collective が運営しています。参加企業には O’Reilly Media、Reddit、Yahoo、Ziff Davis、Medium、wikiHow などが並び、Fastly や Quora は Collective には参加せず支持を表明する立場です。
robots.txt との違いは、RSL がボットに対して認可ヘッダーの提示を求める点にあります。robots.txt は守る相手にしか効かない宣言でしたが、RSL は交渉の手続きを仕様として定めています。
ただし、実際に止められるかどうかは別の話です。同記事では、RSL の実効性が Fastly、Akamai、Cloudflare といった CDN 側の執行に依存することが指摘されています。共同創設者の言葉としても、ルールに従わない事業者は当然いるという前提のうえで、大手 AI 企業の多くは公正な対価の必要性を理解しているはずだ、という見通しが語られています。
整理すると、両者は競合ではなく層が違います。RSL が条件の提示と交渉の共通言語をつくり、CDN 側の仕組みがその執行を担う。メディアから見れば、どちらか一方を選ぶ話ではなく、条件を決める作業と、経路上で守らせる手段を確保する作業の両方が必要になります。
日本のメディア事業者が確認すべき5点
ここからは、キメラとして実務に落とした場合の論点です。
- 自社サイトが Cloudflare の経路上にあるか、そして既定変更の対象になるか
9月15日の既定変更は、新規顧客・新規サイト・無料プランが対象です。既存の有料契約で運用中のサイトは、自動的に設定が変わるわけではありません。まず自社がどの立場にあるかを確認してください。CDN が別ベンダーであれば、そのベンダーの同種の機能の有無を確認することになります。
- robots.txt の記述だけで方針を語らない
多くのメディアの AI 方針は、robots.txt に書いた許可・不許可で表現されています。これは宣言であり、経路上の強制ではありません。方針として何を許し何を許さないのかと、技術的に何が強制できるのかを、分けて把握しておく必要があります。
- 検索クローラーを巻き込まない設計にする
これが最も事故が起きやすい点です。用途が混在したクローラーへの対応を誤ると、検索の露出まで落とすことになります。Google の場合、検索用の Googlebot と、学習用途をオプトアウトできる Google-Extended が分かれています。この構造を理解しないまま一律に遮断すると、減っている検索流入をさらに自ら削ることになります。
- 広告面とコンテンツの切り分けを決める
Cloudflare の既定変更が広告掲載ページを起点にしているのは示唆的です。広告で収益を得ているページを、対価なしに AI の学習・エージェント利用に供する必然性はない、という考え方です。自社のどのページが広告面で、どのページが会員向けで、どこまでを開放するのか。この線引きは技術判断ではなく、事業判断です。
- 「いくらなら通すか」を決める材料を持つ
Pay Per Use のような仕組みが立ち上がったとき、単価を決める根拠が必要になります。自社コンテンツが AI の回答にどれだけ現れているか、そこからどれだけの再訪や登録が生まれているかを、事前に計測しておくことが交渉材料になります。この計測の話は別稿で扱います。
私見：これは「守り」ではなく価格形成の話
この一連の動きを、AI から自社を守る防御策として捉えると、判断を誤ると考えています。
無料で無制限に開放するか、完全に遮断するかの二択しかなかった状態では、コンテンツの価格は0か無限大しか存在しませんでした。価格が存在しない市場では、交渉も、投資判断も成立しません。Cloudflare の仕組みも RSL も、その中間に価格をつけるための装置です。
価格がつくと、次に問われるのは「自社のコンテンツはいくらなのか」です。ここで効いてくるのが、AI が再現しにくい一次情報を持っているかどうか、その情報が実際に引用されているかどうか、という点です。結局、AI 時代の編集投資の話に戻ってきます。
なお、ximera.com 自身は現時点で、検索エンジンにも AI クローラーにも開放する方針を robots.txt に明示しています。キメラの事業は、コンテンツの閲覧課金ではなく、メディアのデータ活用支援にあるためです。方針は事業モデルによって変わります。他社の設定をそのまま真似ることには意味がありません。