2026年6月3日、Cloudflareの共同創業者でCEOのMatthew Prince氏は、インターネット史上初となる数字を発表しました。ボット、スクレイパー、AIエージェントを含む自動化リクエストが、Cloudflareが保護するサイトへのトラフィックの57.5%を占め、人間による実際のトラフィック42.5%を上回ったのです。ウェブが生まれて以来初めて、機械が人間より多くのページを訪問しています。
Prince氏はわずか3か月前のSXSWで、この逆転は2027年まで起きないと予測していました。実際には1年以上前倒しで到来しました。
なぜこれほど急速に変化したのか
この急増は従来の検索エンジンクローラーによるものではなく、エージェント型AIによるものです。ChatGPTやGeminiのようなアシスタントが、ユーザーに代わって一つの質問に答えるためにリアルタイムでウェブを巡回し、数秒で数百ページを取得します。
クロールされること≠引用されること
2026年のクロール対リファラル比率の分析によると、引用型の回答よりもモデル学習を目的に作られたクローラーほど、取得する量に対して実際にもたらす訪問数がはるかに少ない傾向があります。この差は過去18か月で縮小してきたものの、依然として大きいままです。ボットトラフィックの増加自体は、AIでの可視性向上を意味しません。
Cloudflareの対応：Pay Per Crawl
Cloudflareはこの不均衡への対応として、HTTPの「402 Payment Required」ステータスコードを使い、AIクローラーへのアクセスに課金できるPay Per Crawl機能を導入しました。サイトはAIボットを完全にブロックする、無料で許可する、訪問ごとに課金するという選択ができるようになりました。
今週やるべき4つのこと
- robots.txtとCloudflare／ホスティングのボット管理設定を確認する。GPTBot、ClaudeBot、PerplexityBot、Google-Extendedが意図せずブロックされていないか確認してください。設定を変更していなくても、プラットフォームの既定値が変わっている場合があります。
- ボットトラフィックの増加を成果と誤解しない。サーバーログではなく、専用のAI引用モニタリングツールで実際の言及を追跡しましょう。
- Pay-per-crawlの収益を追い求めない。多くの中小企業にとって、引用されて実際の顧客につながる価値の方がはるかに大きいです。
- 四半期ごとに見直す。ボット管理の既定値はプラットフォームの更新で静かに変更されることがあります。
ボットが人間を初めて超えたという見出しは衝撃的ですが、実際に取るべき行動はシンプルです。望むAIクローラーが実際にサイトへアクセスできることを確認するだけです。Apex ZoneのGEOチームが現在のボットアクセス設定を診断できます。