원문 소식, 쉽게 읽기
Cloudflare가 2026년 10월 16일 인증 봇인 Verified bots의 행동을 지속적으로 평가하는 시스템을 발표했다. 봇은 사람이 매번 조작하지 않아도 웹페이지에 요청을 보내는 소프트웨어다. 새 시스템은 사이트가 알린 수집 규칙을 따르는지, 요청을 줄이라는 신호에 반응하는지를 시간에 걸쳐 관찰한다. 현재는 Cloudflare 내부에서 사용하며, 고객 제공은 향후 계획으로 제시했다. 출처
신원 확인에서 지속적인 행동 관찰로
Cloudflare가 제시한 Verified bot의 큰 기준은 정확하고 안전하게 신원을 밝히기, 자신이 하겠다고 한 일만 수행하기, 악용 행위를 하지 않기다. 이번 시스템은 그중 사이트에 피해를 주지 않는다는 활동 원칙을 실제 요청이 계속 지키는지 살펴본다. 인증 이후의 행동도 평가 근거로 쌓는 방식이다. 출처
관찰 결과는 ‘신뢰 구간’인 trust band로 표현할 예정이다. 봇이 사이트의 의사를 얼마나 일관되게 존중했는지와 어떤 행동이 평가에 영향을 줬는지를 함께 설명하는 범위형 평가다. Cloudflare는 한 번의 실수보다 지속적으로 반복되는 행동에 초점을 맞추며, 현재 단계에서 관찰 이력을 쌓고 유용한 안내로 다듬고 있다고 밝혔다. 출처
수집 경로와 요청 속도는 따로 본다
첫 신호는 robots.txt 준수다. robots.txt는 사이트가 봇에게 어떤 경로를 수집해도 되는지 등의 선호를 알리는 파일이다. 시스템은 실제 요청이 그 안내와 시간에 걸쳐 일치하는지 살펴본다. Cloudflare는 이 파일의 규칙에 더해 사이트가 보내는 다른 거부·속도 조절 신호도 존중해야 한다고 설명했다. 출처
두 번째는 HTTP 429, 즉 서버의 ‘요청이 너무 많다’는 응답을 받은 뒤의 변화다. 서버는 이 응답으로 요청 빈도를 낮추라고 알리며, 때로는 다시 시도하기 전 기다릴 시간도 안내한다. 봇이 속도를 늦추거나 잠시 멈추면 신뢰가 높아지고, 같은 신호를 반복해서 무시하면 낮아지는 평가에 반영한다. 출처
| 관찰 신호 | 사이트가 알리는 내용 | 살펴보는 행동 |
|---|---|---|
| robots.txt | 수집 경로 등에 관한 선호 | 실제 수집이 안내된 범위를 일관되게 따르는가 |
| HTTP 429 | 요청이 너무 많으니 빈도를 줄이라는 피드백 | 응답을 받은 뒤 요청을 늦추거나 멈추는가 |
두 신호를 구분하면 수집 경로를 지키는 것과 서버 부하를 배려하는 것을 각각 볼 수 있다. 허용된 경로에만 접근하는 봇도 요청을 많이 보내 사이트에 부담을 줄 수 있다는 것이 Cloudflare의 설명이다. 출처
내부 평가와 앞으로의 고객 기능
현재 확인되는 제공 단계는 내부 평가다. Cloudflare는 앞으로 공개 데이터 서비스 Radar에서 점수를 공개하고 측정 항목도 확대할 계획이다. 또한 모든 Cloudflare 고객에게 시스템을 제공해, Verified bot 트래픽 처리에 사용할 신뢰 임곗값을 고객이 선택하도록 할 계획이라고 밝혔다. 임곗값은 어떤 평가 수준을 처리 기준으로 삼을지 정하는 경계다. 출처
발표문은 고객 제공일, 점수의 숫자 범위, 기본 임곗값을 제시하지 않았다. 따라서 이번 소식에서 구분할 범위는 현재 진행 중인 내부 관찰과, 추후 공개 점수·고객 선택 기능이라는 두 단계다. 출처
OYOPICK의 시선
우리는 봇의 신원과 실제 행동을 함께 보려는 방향에 의미가 있다고 본다. 특히 경로 안내 준수와 과도한 요청에 대한 반응을 나누어 관찰하면, 사이트 운영자가 어떤 행동 때문에 그 봇을 신뢰할지 더 구체적으로 판단하는 데 도움이 될 수 있다. 자동 수집을 일률적으로 허용하거나 막는 선택보다 자신의 사이트가 보내는 신호를 얼마나 존중하는지 따질 근거가 생기는 셈이다.
향후 임곗값 선택이 유용하려면 구간을 만든 관찰 근거가 운영자에게 이해 가능하게 제시되어야 한다. 같은 구간에 속한 봇이 경로 규칙과 요청 속도 중 어느 부분에서 좋은 평가를 받았는지 설명된다면 선택에도 맥락이 생길 것이다. 점수 공개 단계에서 그런 설명이 충분히 제공되고, 봇 운영자에게도 행동을 고칠 수 있는 피드백으로 이어지길 기대한다.