Jemiboo Magazine

AI学習拒否、robots.txt共通トークン案 2026年11月

robots.txt一か所でAI学習の拒否を示せる共通ポリシートークンについて、Google・Microsoft・OpenAIが2026年10月30日に対応を発表しました。

Jemiboo Magazine

· 約 6 分で読めます

ほかの言語で読む한국어EnglishEspañol简体中文繁體中文

要点(2026年11月10日時点)

  • 共通トークン「__usage_ai-training」は、AnthropicのKevin Kelley氏が2026年10月30日にIETFへ提出した個人草案に記されたもので、まだIETFが承認した標準ではありません。
  • Googleは2027年の対応を目指し、Microsoftは2027年2月1日から新しい設定を反映し、3月1日からは従来のNoArchive・NoCacheを読み取らなくなります。
電源スイッチがオフになったサーバーの前で立ち止まる小さなクローラーロボット

robots.txtにわずか2行を書くだけで、複数のAI企業による学習利用をまとめて拒否できる道が開けつつあります。Google・Microsoft・OpenAIは10月30日、robots.txtで使う共通の「ポリシートークン」に対応すると明らかにしました。インターネット技術の標準化団体IETF(Internet Engineering Task Force)のAI利用意向ワーキンググループ(AIPREF)は、来週の11月16日と19日に会合を開きます。企業ごとに名前を書き分けていた「AI学習拒否」が、ウェブ共通の書式へ移りつつあります。

AI学習拒否、いまは企業ごとに名前が違う

robots.txtは、ウェブサイトの最上位に置く短いテキストファイルです。検索ロボットに、どこを読んでよいかを伝える古くからの取り決めです。 問題はAI学習でした。Googleは2023年からGoogle-Extendedという別の名前で学習拒否を受け付け、他社もそれぞれ独自の名前を使ってきました。新しいAI企業が現れるたびに、運営者はリストを書き直さなければなりませんでした。 Googleのサーチアドボケイト、ジョン・ミューラー(John Mueller)氏は10月30日、Google検索セントラルブログで「AI開発企業ごとに個別の指示を管理する代わりに、ウェブサイト運営者はrobots.txt内の共通『ポリシートークン』を使い、参加するすべてのAI企業に対して幅広い意向を設定できるようになる」と書いています。

企業これまでの方式共通トークンへの対応時期
GoogleGoogle-Extended(2023年から)トークンで拒否するとGoogle-Extendedの拒否として解釈2027年の対応を目標
Microsoft(Bing)NoArchive・NoCache学習・グラウンディングの設定に置き換え2027年2月1日に反映開始
OpenAIGPTBot(報道)共通トークンに対応数か月以内(報道)

表は2026年10月30日のGoogle・Microsoft公式ブログに基づきます。OpenAIの原文はアクセスが遮断されて開けず、OpenAIの欄は技術評論社(gihyo.jp)の11月2日の報道で確認した内容です。同報道によると、OpenAIは学習用のGPTBotと検索用のOAI-SearchBotを、これまでどおり別々に設定できるようにします。

アスタリスク(*)ではなく名前を書く

書き方は簡単です。「User-Agent: __usage_ai-training」の下に「Disallow: /」と書けば、サイト全体を学習の対象から外すという意味になります。特定のフォルダだけを開放しておくこともできます。 注意したいのはアスタリスクです。草案は、すべてのロボットを指す「User-Agent: *」のグループを、このトークンとして解釈してはならないと定めています。トークン名を書いた行がなければ、何の意向も示していないものとみなされます。 また、このトークンは収集を止める命令ではありません。ロボットがページを読むことと、読んだ文章を何に使うかは別々に扱われるという説明です。個別の契約がある場合は、契約が優先されることがあります。

分類ラベル意味(IETF語彙草案 第08版)
AI学習train-ai生成AIモデルの学習済みの値を変えるために使うこと
AI利用ai-use利用者が直接与えていない資料を生成AIの入力に使うこと
検索search元の場所へ利用者を案内する用途。要約の生成は除く

分類はIETFワーキンググループの文書「A Vocabulary For Expressing AI Usage Preferences(AI利用の意向を表す語彙)」の2026年9月14日版から引用しました。この文書も、まだワーキンググループの合意を反映していない草案だと明記されています。

設定ファイルのような画面が映るノートパソコンと、机の上の手

検索には残し、学習だけ外せる

運営者がもっとも気にするのは検索での露出です。Microsoftは、新しい設定がBingの検索結果に表示される資格には影響しないと説明しています。 Bingはさらに一歩踏み込み、ページごとに学習と「グラウンディング」を別々に選べるようにしました。グラウンディングとは、AIが回答を書く際にウェブ文書を根拠として引いてくることです。学習はrobots.txtでサイトやパスの単位で設定し、必要ならページのメタタグでも指定できます。グラウンディングはページのメタタグでのみ設定し、robots.txtにはグラウンディングの設定がありません。 Googleは、Google-Extendedを明示的に許可したサイトは、Geminiアプリの回答に根拠として表示され、クリックを得られると述べています。学習を拒むか、回答の出典として残るか。その見極めは運営者に委ねられることになります。

日付Microsoft Bingの日程
2026年12月15日NoArchive・NoCacheを使うサイトに暫定のグラウンディング設定を開放
2027年2月1日クロール時に新しい学習・グラウンディング設定の反映を開始
2027年3月1日NoArchive・NoCacheを意向表示として読み取らなくなる
2027年9月30日暫定設定の期限切れ

ブログ・メディア運営者がいますべきこと

今回の発表原文とIETF草案には、韓国の検索・AIサービスへの言及はありません。韓国の検索・AI企業が同じトークンに従うかどうかも、まだ決まっていません。 独自ドメインを使っている運営者は、まず「ドメイン/robots.txt」を開き、いま何が書かれているかを確認しましょう。共通トークンは2027年から順次反映されるため、すぐに学習を拒否したい場合は、企業ごとの名前も併記しておくほうが安全です。 11月5日の記事「AIテキスト電子透かし、Claude旧4モデルへ拡大」(https://jemiboo.com/ja/tech/2026-11-05/)がAIの書いた文章に残る印を扱ったのに対し、今回のトークンは人が書いた文章に付ける「使わないでほしい」という印です。

よくある質問

robots.txtでAI学習を拒否すると、検索結果から外れますか?

共通トークンは収集そのものを止める命令ではなく、利用目的についての意向表示です。Microsoftは、新しい設定がBing検索結果への表示資格を変えないと説明しています。

__usage_ai-trainingトークンはいつから有効になりますか?

Googleは2027年の対応を目指し、Microsoftは2027年2月1日から反映を始めます。OpenAIは数か月以内に適用すると報じられています。

User-Agent: * で拒否すれば、AI学習も拒否したことになりますか?

IETF草案は、アスタリスクのグループをこのトークンとして解釈しないと定めています。AI学習を拒否するには「__usage_ai-training」という名前を別に書く必要があります。

この草案は、まだ一人が提出した個人文書です。ワーキンググループが正式な文書として採択して初めて、標準化の手続きに乗ります。来週のサンフランシスコ会合の議事録が公開されたら、まずトークン名がそのまま維持されるかを確認してください。

参考資料

  1. Google Search Central Blog, Supporting a shared AI training control for websites(2026年10月30日) — developers.google.com
  2. Microsoft Bing Blog, Your content, your choice: clearer preferences for training and grounding(2026年10月30日) — blogs.bing.com
  3. IETF, draft-kelley-aipref-training-preference-signal-00(2026年10月30日) — datatracker.ietf.org
  4. IETF, A Vocabulary For Expressing AI Usage Preferences, draft-ietf-aipref-vocab-08(2026年9月14日) — datatracker.ietf.org
  5. IETF, IETF 127 Agenda(2026年11月9日更新) — datatracker.ietf.org
  6. 技術評論社 gihyo.jp、robots.txtによるAI学習制御に関する報道(2026年11月2日) — gihyo.jp

OpenAIAI学習拒否robots.txtAI学習 オプトアウトGoogle-ExtendedGPTBot

同じ日のほかの記事

テクノロジーのほかの記事