주요 AI 기업이 웹 스크래핑 거부 표준 채택을 예고했다.

• 주요 AI 기업이 퍼블리셔의 AI 스크래핑 거부를 위한 공통 신호 채택을 예고했다.
• 새 신호는 robots.txt 안에서 여러 사업자에 AI 학습 선호를 전달하는 방식을 지향한다.
• 최종 표준 여부와 실제 구현 범위는 별도 확인이 필요하다.

보도에 따르면 OpenAI, Google, Microsoft, Anthropic은 퍼블리셔가 AI에 의한 스크래핑을 거부할 수 있도록 하는 새 표준을 채택할 계획이다. 이 표준은 웹사이트의 robots.txt 파일 안에 ‘policy token’ 신호를 두는 방식으로 제안됐으며, 여러 AI 기업에 공통으로 적용할 수 있는 통제수단을 지향한다. 다만 발췌문은 실제 도입 일정과 각 기업의 동일한 적용 범위를 확인해 주지는 않는다.

robots.txt는 크롤러의 접근 선호를 알리는 관행적 표준으로 널리 쓰이지만, AI 학습 목적의 수집에 관한 통일된 해석과 사업자별 이행 방식은 계속 정비되는 영역이다. IETF 관련 제안이라는 점은 기술 표준화 논의가 진행 중임을 보여주지만, 제안이 곧 최종 표준이나 법적 의무를 뜻하는 것은 아니다. 기사상 제안자는 Anthropic의 표준 담당 기술 리드로 소개된다.

퍼블리셔, 데이터 제공자, 기업 웹사이트 운영자는 현행 robots.txt의 크롤러별 규칙과 새 토큰의 호환성을 점검할 필요가 있다. AI 학습 거부를 원하는 경우에는 웹사이트 설정뿐 아니라 CDN·호스팅 환경, 하위 도메인, 공개 문서 저장소처럼 실제 콘텐츠가 제공되는 경로까지 포함해 관리 범위를 파악할 필요가 있다. 수익화·라이선스 담당자는 무료 공개 콘텐츠와 계약 기반 콘텐츠에 서로 다른 정책을 둘지 검토할 필요가 있다.

새 표준이 최종적으로 어떤 문법과 대상 행위를 규정하는지, 검색 색인·요약·학습을 어떻게 구별하는지, 기존 수집분에 효력이 있는지가 핵심 확인 사항이다. 표준 신호와 별도로 접근제어, 약관, 라이선스가 필요한지 여부도 원문 및 각 사업자의 구현 문서로 확인할 필요가 있다.

본문은 수집한 기사의 제목과 발췌를 바탕으로 AI가 정리한 해설입니다. 수치·날짜·조문 등 세부 사실은 원문에서 확인하세요.