자동화 트래픽 57.4%…클라우드플레어, AI 크롤링 유료화 추진

웹 트래픽의 절반 이상이 사람이 아닌 자동화 요청으로 채워지면서 광고 중심의 인터넷 수익모델이 흔들리고 있다. 클라우드플레어($NET)는 사이트 운영자가 AI 크롤러의 접근을 허용·차단하거나 콘텐츠 이용료를 설정할 수 있는 ‘Pay Per Crawl’ 기능을 제공한다.

클라우드플레어 레이더는 2026년 6월 전 세계 HTML 요청 가운데 자동화 트래픽이 57.4%, 인간 트래픽이 42.6%였다고 집계했다. 이 수치는 클라우드플레어 네트워크에서 관측된 요청을 기준으로 한 것으로 인터넷 전체 트래픽을 전수조사한 결과는 아니다.

자동화 트래픽에는 검색엔진 크롤러와 보안 도구, 악성 봇, AI 에이전트가 함께 포함된다. 따라서 자동화 요청이 인간 요청을 넘어섰다는 사실을 곧바로 AI 트래픽이 웹의 57.4%를 차지했다는 뜻으로 해석할 수는 없다.

클라우드플레어의 2026년 6월 보고서에서는 AI 학습 목적이 식별된 크롤러 요청의 52%를 차지했다. 2025년 봄의 22%에서 늘어난 수치이며, 검색·에이전트·AI 학습을 동시에 수행하는 혼합형 크롤러는 전체 크롤러 활동의 36% 이상으로 집계됐다.

매슈 프린스(Matthew Prince) 클라우드플레어 공동창업자 겸 CEO는 자동화 트래픽이 인간 트래픽을 넘어선 시점이 당초 예상보다 빨랐다고 말했다. 그는 전환점을 2027년 하반기, 이후 2027년 상반기로 예상했지만 실제로는 2026년 5월 찾아왔다고 설명했다.

프린스는 기존 웹의 수익모델이 검색엔진이 사이트로 방문자를 보내고 콘텐츠 사업자가 광고 수익을 얻는 구조였다고 진단했다. AI 서비스가 웹 콘텐츠를 수집한 뒤 이용자에게 답변을 직접 제공하면 콘텐츠는 소비되지만 원문 사이트 방문자는 줄어들 수 있다는 설명이다.

클라우드플레어 네트워크에서 2026년 5월 봇 요청 비중이 약 60%를 기록했다는 앞선 보도 이후, 이번 집계는 자동화 요청의 세부 구성과 AI 크롤러 관리 방식까지 범위를 넓혔다.

클라우드플레어는 AI 크롤러를 일괄 차단하는 대신 허용·차단·청구 대상으로 나누는 방식을 제시했다. ‘Pay Per Crawl’은 사이트 운영자가 AI 크롤러의 콘텐츠 접근에 가격을 설정하는 기능이다.

크롤러가 비용을 지불할 의사를 표시하면 콘텐츠를 제공하고, 그렇지 않으면 HTTP 402 응답으로 가격을 알리는 구조다. 사이트 운영자는 요청 자체를 막는 것과 콘텐츠 이용에 대가를 요구하는 방식을 선택할 수 있다.

‘Pay Per Crawl’은 2026년 7월 28일 기준 비공개 베타다. 클라우드플레어가 결제 중개자와 기술 인프라를 제공한다고 설명했지만 실제 참여 규모와 누적 지급액, 콘텐츠별 가격 결정 방식은 공개되지 않았다.

클라우드플레어는 검색용·에이전트용·AI 학습용 크롤러를 구분해 관리하는 기능도 무료 요금제까지 확대했다. 다만 하나의 크롤러가 여러 목적을 수행하거나 요청 목적을 정확히 표시하지 않으면 사이트 운영자가 최종 이용처를 판단하기 어렵다.

검색 유입을 둘러싼 충돌도 남아 있다. 닐 보겔(Neil Vogel) 피플 Inc. CEO는 “검색 유입을 유지하려면 그 크롤러를 차단할 수 없다”고 말했다.

구글이 검색과 AI에 같은 크롤러를 사용하면 게시자가 AI 수집만 차단하기 어렵다는 주장이다. AI 학습을 막으려는 요구와 검색 노출을 유지하려는 필요가 같은 접근 경로에서 맞부딪힐 수 있다는 의미다.

클라우드플레어는 크롤링 횟수가 아니라 콘텐츠가 실제로 활용된 정도를 기준으로 보상하는 ‘Pay Per Use’ 방식도 실험 중이다. 검색 결과에 콘텐츠가 노출될 때 게시자에게 보상하는 ‘pay-per-query’ 방식도 업계에서 제시됐다.

이 모델은 웹 콘텐츠의 접근 권한과 보상 구조를 기술적으로 연결하려는 시도다. 그러나 크롤러의 실제 이용 목적을 어떻게 검증할지, 콘텐츠 가치를 누가 평가할지, AI 기업이 어떤 기준으로 비용을 부담할지는 아직 정착되지 않았다.

현재 확인된 단계에서는 클라우드플레어의 유료 크롤링 기능이 광고를 대체하거나 콘텐츠 사업자에게 안정적인 수익을 제공한다고 판단하기 어렵다. 비공개 베타에서 실제 결제와 참여 규모가 어떻게 확장될지가 다음 확인 지점이다.