2026년 6월 3일, 클라우드플레어 공동창업자이자 CEO인 매튜 프린스는 인터넷 역사상 처음 있는 수치를 공개했습니다. 봇, 스크래퍼, AI 에이전트를 포함한 자동화 요청이 클라우드플레어가 보호하는 사이트 트래픽의 57.5%를 차지하며, 실제 인간 트래픽 42.5%를 넘어선 것입니다. 웹이 생긴 이래 처음으로 기계가 사람보다 더 많은 페이지를 방문하고 있습니다.
프린스는 불과 3개월 전 SXSW에서 이 교차점이 2027년에야 올 것이라 예측했습니다. 실제로는 1년 이상 앞당겨 도착했습니다.
왜 이렇게 빨리 변했나
이 급증은 전통적인 검색엔진 크롤러가 아니라 에이전트형 AI 때문입니다. ChatGPT나 Gemini 같은 어시스턴트가 사용자를 대신해 하나의 질문에 답하기 위해 실시간으로 웹을 탐색하면서, 단 몇 초 만에 수백 개의 페이지를 가져옵니다.
크롤링 ≠ 인용
2026년 크롤링 대비 리퍼럴 비율 분석에 따르면, AI 답변보다는 모델 학습을 위해 만들어진 크롤러일수록 가져가는 양에 비해 돌려주는 방문량이 훨씬 적습니다. 이 격차는 지난 18개월간 다소 줄었지만 여전히 큽니다. 봇 트래픽 증가가 곧 AI 노출 향상을 의미하지는 않습니다.
클라우드플레어의 대응: Pay Per Crawl
클라우드플레어는 HTTP \"402 Payment Required\" 상태 코드를 이용해 AI 크롤러에게 접근 비용을 청구할 수 있는 Pay Per Crawl 기능을 내놓았습니다. 이제 사이트는 AI 봇을 완전히 차단하거나, 무료로 허용하거나, 방문당 비용을 청구할 수 있습니다.
이번 주에 할 일
- robots.txt와 클라우드플레어·호스팅의 봇 관리 설정을 점검하세요. GPTBot, ClaudeBot, PerplexityBot, Google-Extended가 차단되어 있지 않은지 확인하세요 — 직접 설정을 바꾼 적이 없어도 플랫폼 기본값이 바뀌었을 수 있습니다.
- 봇 트래픽 증가를 성과로 오해하지 마세요. 전용 AI 인용 모니터링 도구로 실제 브랜드 언급 여부를 추적하세요.
- Pay-per-crawl 수익을 좇지 마세요. 대부분의 중소기업에는 인용을 통한 실제 고객 유입이 훨씬 더 가치 있습니다.
- 분기마다 다시 점검하세요. 봇 관리 기본값은 플랫폼 업데이트로 조용히 바뀔 수 있습니다.
봇이 인간을 추월했다는 헤드라인은 놀랍지만, 실제로 해야 할 일은 단순합니다 — 원하는 AI 크롤러가 실제로 사이트에 접근할 수 있도록 확인하는 것입니다. Apex Zone GEO 팀이 현재 봇 접근 설정을 점검해 드릴 수 있습니다.