Jemiboo Magazine

AI 학습 거부 robots.txt 공통 토큰, 구글·MS·오픈AI 지원

구글 · 마이크로소프트 · 오픈AI는 2026년 10월 30일 웹사이트가 robots.txt 한곳에서 AI 학습 거부를 밝히는 공통 정책 토큰을 지원하겠다고 발표했습니다.

Jemiboo Magazine

· 읽는 시간 약 5분

다른 언어로 읽기EnglishEspañol简体中文繁體中文日本語

핵심 요약 (2026년 11월 10일 기준)

  • 공통 토큰 '__usage_ai-training'은 앤트로픽의 케빈 켈리가 2026년 10월 30일 IETF에 낸 개인 초안에 담겼으며, 아직 IETF가 승인한 표준은 아닙니다.
  • 구글은 2027년 지원을 목표로 하고, 마이크로소프트는 2027년 2월 1일부터 새 설정을 반영하며 3월 1일부터 기존 NoArchive · NoCache를 더는 읽지 않습니다.
꺼진 스위치가 달린 서버 앞에 멈춰 선 작은 크롤러 로봇

robots.txt 두 줄로 여러 AI 회사의 학습을 한꺼번에 거부하는 길이 열립니다. 구글 · 마이크로소프트 · 오픈AI는 10월 30일 robots.txt에 쓰는 공통 '정책 토큰'을 지원하겠다고 밝혔습니다. 국제인터넷표준화기구(IETF)의 AI 선호 작업반은 다음 주인 11월 16일과 19일 회의를 엽니다. 회사마다 이름을 따로 적던 'AI 학습 거부'가 웹의 공통 문법으로 옮겨 가고 있습니다.

AI 학습 거부, 지금은 회사마다 이름이 다르다

robots.txt는 웹사이트 맨 위에 두는 짧은 텍스트 파일입니다. 검색 로봇에게 어디를 읽어도 되는지 알려 주는 오래된 약속입니다. 문제는 AI 학습이었습니다. 구글은 2023년부터 Google-Extended라는 별도 이름으로 학습 거부를 받았고, 다른 회사도 저마다 이름을 썼습니다. 새 AI 회사가 나올 때마다 운영자는 목록을 다시 고쳐야 했습니다. 존 뮬러 구글 서치 애드보킷은 10월 30일 구글 검색 센터 블로그에서 "AI 개발사마다 따로 지시를 관리하는 대신, 웹사이트 운영자는 robots.txt 안의 공통 '정책 토큰'으로 참여 AI 회사 전체에 폭넓은 선호를 정할 수 있게 된다"고 썼습니다.

회사지금까지 쓰던 방식공통 토큰 대응시점
구글Google-Extended (2023년부터)토큰으로 거부하면 Google-Extended 거부로 해석2027년 지원 목표
마이크로소프트(빙)NoArchive · NoCache학습 · 그라운딩 설정으로 대체2027년 2월 1일 반영 시작
오픈AIGPTBot (보도)공통 토큰 지원수개월 안 (보도)

표는 2026년 10월 30일 구글 · 마이크로소프트 공식 블로그 기준입니다. 오픈AI 원문은 접속이 막혀 열지 못했고, 오픈AI 칸은 일본 IT 매체 기술평론사(gihyo.jp)의 11월 2일 보도로 확인한 내용입니다. 이 보도에 따르면 오픈AI는 학습용 GPTBot과 검색용 OAI-SearchBot을 지금처럼 따로 설정할 수 있게 둡니다.

별표(*) 대신 이름을 적어야 한다

쓰는 법은 짧습니다. 'User-Agent: __usage_ai-training' 아래에 'Disallow: /'를 적으면 사이트 전체를 학습에서 빼겠다는 뜻입니다. 특정 폴더만 열어 둘 수도 있습니다. 주의할 점은 별표입니다. 초안은 모든 로봇을 뜻하는 'User-Agent: *' 묶음을 이 토큰으로 해석해서는 안 된다고 정했습니다. 토큰 이름을 적은 줄이 없으면 아무 선호도 밝히지 않은 것으로 봅니다. 또 이 토큰은 수집을 막는 명령이 아닙니다. 로봇이 페이지를 읽는 일과 읽은 글을 어디에 쓰느냐는 서로 따로 움직인다는 설명입니다. 개별 계약이 있으면 계약이 앞설 수 있습니다.

분류라벨뜻 (IETF 어휘 초안 08판)
AI 학습train-ai생성형 AI 모델의 학습된 값을 바꾸는 데 쓰는 것
AI 사용ai-use사용자가 직접 주지 않은 자료를 생성형 AI 입력으로 쓰는 것
검색search원래 위치로 사용자를 안내하는 쓰임, 요약 생성은 제외

분류는 IETF 작업반 문서 'AI 사용 선호를 나타내는 어휘' 2026년 9월 14일 판에서 옮겼습니다. 이 문서도 아직 작업반 합의를 반영하지 않은 초안이라고 적혀 있습니다.

설정 파일 같은 화면이 켜진 노트북과 책상 위 손

검색은 남기고 학습만 뺄 수 있다

운영자가 가장 걱정하는 것은 검색 노출입니다. 마이크로소프트는 새 설정이 빙 검색 결과에 나올 자격은 바꾸지 않는다고 밝혔습니다. 빙은 한 걸음 더 나눴습니다. 페이지마다 학습과 '그라운딩'을 따로 고를 수 있게 했습니다. 그라운딩은 AI가 답을 쓸 때 웹 문서를 근거로 끌어오는 일입니다. 학습은 robots.txt로 사이트나 경로 단위로, 필요하면 페이지 메타 태그로도 정합니다. 그라운딩은 페이지 메타 태그로만 정하고, robots.txt에는 그라운딩 설정이 없습니다. 구글은 Google-Extended를 명시적으로 허용한 사이트가 제미나이 앱 답변에 근거로 나오고 클릭을 받을 수 있다고 했습니다. 학습을 막을지, 답변 속 출처로 남을지는 이제 운영자가 저울질할 몫입니다.

날짜마이크로소프트 빙 일정
2026년 12월 15일NoArchive · NoCache 사용 사이트에 임시 그라운딩 설정 개방
2027년 2월 1일수집하면서 새 학습 · 그라운딩 설정 반영 시작
2027년 3월 1일NoArchive · NoCache를 선호 표시로 더는 읽지 않음
2027년 9월 30일임시 설정 만료

한국 블로그 · 언론사가 지금 할 일

이번 발표 원문과 IETF 초안에는 네이버나 다른 국내 서비스 이야기가 없습니다. 국내 검색 · AI 회사가 같은 토큰을 따를지는 아직 정해지지 않았습니다. 자체 도메인을 쓰는 운영자라면 먼저 '주소/robots.txt'를 열어 지금 무엇이 적혀 있는지 확인합니다. 공통 토큰은 2027년부터 차례로 반영되므로, 당장 학습을 거부하려면 회사별 이름도 함께 남겨 두는 편이 안전합니다. 지난 11월 5일 기사 'AI 텍스트 워터마크 확대'가 AI가 쓴 글에 남는 표시를 다뤘다면, 이번 토큰은 사람이 쓴 글에 다는 '쓰지 말아 달라'는 표시입니다.

자주 묻는 질문

robots.txt로 AI 학습을 거부하면 검색에서 빠지나요?

공통 토큰은 수집 자체를 막는 명령이 아니라 쓰임에 대한 선호 표시입니다. 마이크로소프트는 새 설정이 빙 검색 결과 노출 자격을 바꾸지 않는다고 밝혔습니다.

__usage_ai-training 토큰은 언제부터 효력이 있나요?

구글은 2027년 지원을 목표로 하고, 마이크로소프트는 2027년 2월 1일부터 반영을 시작합니다. 오픈AI는 수개월 안에 적용하겠다고 보도됐습니다.

User-Agent: * 로 막으면 AI 학습도 거부되나요?

IETF 초안은 별표 묶음을 이 토큰으로 해석하지 않도록 정했습니다. AI 학습을 거부하려면 '__usage_ai-training' 이름을 따로 적어야 합니다.

이 초안은 아직 한 사람이 낸 개인 문서입니다. 작업반이 문서로 채택해야 표준 절차에 오를 수 있습니다. 다음 주 샌프란시스코 회의 기록이 올라오면 토큰 이름이 그대로 갈지부터 확인해 보십시오.

참고 자료

  1. Google Search Central Blog, Supporting a shared AI training control for websites (2026.10.30) — developers.google.com
  2. Microsoft Bing Blog, Your content, your choice: clearer preferences for training and grounding (2026.10.30) — blogs.bing.com
  3. IETF, draft-kelley-aipref-training-preference-signal-00 (2026.10.30) — datatracker.ietf.org
  4. IETF, A Vocabulary For Expressing AI Usage Preferences, draft-ietf-aipref-vocab-08 (2026.9.14) — datatracker.ietf.org
  5. IETF, IETF 127 Agenda (2026.11.9 갱신) — datatracker.ietf.org
  6. 기술평론사 gihyo.jp, robots.txt AI 학습 제어 보도 (2026.11.2) — gihyo.jp

오픈AI인공지능AI학습거부robotstxt공통토큰IETF

같은 날 다른 글

기술 다른 글