원문 소식, 쉽게 읽기
Cloudflare와 OpenAI가 10월 15일 AI 검색의 웹페이지 발견을 돕는 공동 연구의 초기 결과를 공개했다. 2026년 7월 시작한 실험으로, Cloudflare 전체 네트워크의 약 1%에 해당하는 참여 집단에서 얻은 신호를 활용했다. 두 회사는 이를 통해 OpenAI가 새 웹페이지 수억 개를 발견하고 검색 색인에 넣었다고 밝혔다. 범위와 성과 수치는 발표사의 초기 결과다. 출처
주소를 찾는 일과 답변에 쓰는 일
검색 시스템은 먼저 페이지의 주소를 알아야 내용을 확인할 수 있다. 이 실험에서 Cloudflare의 네트워크 신호는 OpenAI의 검색 수집기가 유용할 가능성이 있는 페이지를 찾도록 돕는다. 수집기, 즉 크롤러는 웹페이지를 방문해 정보를 확인하는 자동 프로그램이다. 검색 색인은 이후 검색할 수 있도록 페이지 정보를 정리해 두는 목록에 가깝다. 출처
새 주소가 발견된 뒤에는 별도 판단이 이어진다. 페이지에 접근할 수 있는지, 다른 페이지와 구별되는 정보가 있는지, 질문에 얼마나 도움이 되는지 등을 평가한다. OpenAI가 페이지를 독립적으로 평가하고 검색에 나타나는 순위를 정한다고 두 회사는 설명했다. 발견 신호와 검색 순위를 나누어 이해하면, 사이트 운영자가 이번 발표에서 기대할 수 있는 범위를 더 정확히 잡을 수 있다. 출처
발표문은 특정 세탁기 모델의 설명서나 최신 여권 신청 요건처럼 세부 정보가 필요한 경우를 예로 든다. 다른 사이트에서 많이 연결하지 않은 페이지에도 이런 정보가 있을 수 있어, 찾을 수 있는 주소의 폭을 넓히려는 것이다. 이는 연구 목적을 설명하는 사례다. 개별 사이트의 방문 성과는 이후 측정할 대상으로 남아 있다. 출처
불필요한 방문을 줄이려는 신호
자동화된 요청이 반복된다고 그 주소에 유용한 페이지가 있다고 볼 수는 없다. 실험은 존재하지 않는 파일, 방문하면 다른 곳으로 이동하는 주소, 같은 내용을 담은 여러 페이지 등을 가려내려 한다. 악성 페이지 가능성을 알리는 신호도 시험 중이다. 정상 사이트 안에 침입자가 가짜 로그인 페이지를 만든 경우, 해당 페이지 단위로 식별하려는 취지다. 출처
변경 신호는 내용이 그대로인 페이지를 거듭 내려받는 일을 줄이는 데 쓰인다. 다만 처음 발견한 페이지를 평가하고 색인에 넣는 과정에서는 크롤러 방문이 늘어날 수 있다고 발표문은 명시했다. 최신 정보를 찾는 능력과 불필요한 수집 부하 감소를 함께 추구하는 단계다. 출처
메타데이터와 접근 허가는 별개
연구는 검색·발견을 위한 웹 메타데이터를 활용하며, 모델 학습을 위해 페이지 본문을 공유하는 방식으로 진행하지 않는다고 두 회사는 밝혔다. 메타데이터는 페이지 자체의 내용과 구분되는, 페이지에 관한 신호와 정보다. 또한 페이지에 접근하려면 소유자가 허용한 범위를 따라야 한다고 설명했다. 사이트 소유자의 선택은 계속 존중돼야 하며, 접근 상황을 이해하고 관리하는 수단으로 Cloudflare의 AI Crawl Control을 안내했다. 출처
다음 단계에서는 페이지 선정과 변경 신호의 속도·신뢰성을 개선하고, 콘텐츠가 발견된 뒤 어떤 일이 일어나는지 측정할 계획이다. 더 나은 발견이 실제 사업 성과로 어떻게 연결되는지도 계속 연구할 대상이다. 새 페이지를 색인에 넣은 수치와 사이트 방문·매출의 성과를 구별해 읽어야 한다. 출처
OYOPICK의 시선
웹을 더 넓게 찾는 시도는 작은 사이트의 구체적인 설명과 경험이 AI 검색에 닿을 가능성을 넓힌다는 점에서 기대할 만하다. 다만 운영자에게 필요한 근거는 발견된 주소 수에서 한 단계 더 나아간다. 실제로 어떤 페이지가 인용되고 방문으로 이어지는지, 그 과정의 수집 부하는 어느 정도인지가 함께 보여야 참여의 가치를 판단하기 쉽다.
이번 발표에서 지켜볼 기준은 더 많은 수집보다 더 유용한 연결이다. 다음 연구가 소유자의 접근 선택을 유지하면서, 발견 이후의 이용과 비용을 확인할 수 있는 결과를 제시하길 바란다. 검색에 발견되는 과정과 콘텐츠 이용을 허용하는 결정을 분리해 설명하는 태도가 이어진다면, 이용자와 발행자 모두 AI 검색의 변화를 이해하는 데 도움이 될 것이다.