2026年6月3日，Cloudflare共同創辦人兼CEO Matthew Prince公布了網路史上的一個首次：自動化請求（機器人、爬蟲與AI代理）佔其網路流量的57.5%，超過人類訪問的42.5%。這是網路誕生以來，機器訪問頁面數首次超過真人。Prince三個月前才在SXSW預測這個交叉點要到2027年才會出現——結果提前了一年多。
為什麼來得這麼快
這並非傳統搜尋引擎爬蟲的常規抓取，而是代理式AI——例如ChatGPT、Gemini等助手為回答使用者的一個問題，會在幾秒內抓取數百個頁面。乘以每週數億AI使用者，數字自然飆升。
被抓取≠被引用
2026年的抓取與引用比例分析顯示，專為訓練模型而非提供引用式回答的AI爬蟲，抓取量遠超其帶來的真實訪問量——儘管這個差距過去18個月有所縮小。流量日誌中機器人訪問量上升，並不代表您的品牌正被AI更多引用。
Cloudflare的應對：按次付費抓取
Cloudflare推出「Pay Per Crawl」功能，允許網站主透過HTTP 402狀態碼對AI爬蟲按次收費，由Cloudflare作為收款方。網站現在可以選擇完全封鎖、免費放行或按次收費AI機器人。
本週應做的事
- 檢查robots.txt與Cloudflare機器人管理設定，確認GPTBot、ClaudeBot、PerplexityBot、Google-Extended未被誤封鎖——許多平台近期預設開啟了「封鎖AI機器人」。
- 別把抓取量當作AI能見度的指標，應使用專門的AI引用監測工具追蹤品牌是否真的被ChatGPT、Perplexity、AI Overviews提及。
- 一般中小企業無需追求按次收費抓取的收益，被引用並帶來真實客戶詢問的價值遠高於此。
- 每季複查一次，因為機器人管理預設設定常在平台更新中被靜默修改。
機器人流量首次超越人類是個驚人的標題，但對法拉盛的餐廳或曼哈頓中城的律所而言，行動很簡單：確保您想要的AI爬蟲真的能訪問您的網站。Apex Zone的GEO團隊可以為您審核目前的機器人訪問設定。