# AI学習拒否、robots.txt共通トークン案　2026年11月

- URL: https://jemiboo.com/ja/tech/2026-11-10/
- カテゴリー: テクノロジー
- Published: 2026-11-10
- Publisher: Jemiboo Magazine (JEMIBOO)
- Tags: AI学習拒否, robots.txt, AI学習 オプトアウト, Google-Extended, GPTBot, IETF AIPREF, AIクローラー ブロック, 生成AI 著作権, Bing グラウンディング, サイト運営, OpenAI, Microsoft

![電源スイッチがオフになったサーバーの前で立ち止まる小さなクローラーロボット](https://jemiboo.com/img/2026-11-10-tech-cover.jpg)

robots.txtにわずか2行を書くだけで、複数のAI企業による学習利用をまとめて拒否できる道が開けつつあります。Google・Microsoft・OpenAIは10月30日、robots.txtで使う共通の「ポリシートークン」に対応すると明らかにしました。インターネット技術の標準化団体IETF（Internet Engineering Task Force）のAI利用意向ワーキンググループ（AIPREF）は、来週の11月16日と19日に会合を開きます。企業ごとに名前を書き分けていた「AI学習拒否」が、ウェブ共通の書式へ移りつつあります。

## 要点（2026年11月10日時点）
- robots.txt一か所でAI学習の拒否を示せる共通ポリシートークンについて、Google・Microsoft・OpenAIが2026年10月30日に対応を発表しました。
- 共通トークン「__usage_ai-training」は、AnthropicのKevin Kelley氏が2026年10月30日にIETFへ提出した個人草案に記されたもので、まだIETFが承認した標準ではありません。
- Googleは2027年の対応を目指し、Microsoftは2027年2月1日から新しい設定を反映し、3月1日からは従来のNoArchive・NoCacheを読み取らなくなります。

## AI学習拒否、いまは企業ごとに名前が違う

robots.txtは、ウェブサイトの最上位に置く短いテキストファイルです。検索ロボットに、どこを読んでよいかを伝える古くからの取り決めです。 問題はAI学習でした。Googleは2023年からGoogle-Extendedという別の名前で学習拒否を受け付け、他社もそれぞれ独自の名前を使ってきました。新しいAI企業が現れるたびに、運営者はリストを書き直さなければなりませんでした。 Googleのサーチアドボケイト、ジョン・ミューラー（John Mueller）氏は10月30日、Google検索セントラルブログで「AI開発企業ごとに個別の指示を管理する代わりに、ウェブサイト運営者はrobots.txt内の共通『ポリシートークン』を使い、参加するすべてのAI企業に対して幅広い意向を設定できるようになる」と書いています。

| 企業 | これまでの方式 | 共通トークンへの対応 | 時期 |
|---|---|---|---|
| Google | Google-Extended（2023年から） | トークンで拒否するとGoogle-Extendedの拒否として解釈 | 2027年の対応を目標 |
| Microsoft（Bing） | NoArchive・NoCache | 学習・グラウンディングの設定に置き換え | 2027年2月1日に反映開始 |
| OpenAI | GPTBot（報道） | 共通トークンに対応 | 数か月以内（報道） |

表は2026年10月30日のGoogle・Microsoft公式ブログに基づきます。OpenAIの原文はアクセスが遮断されて開けず、OpenAIの欄は技術評論社（gihyo.jp）の11月2日の報道で確認した内容です。同報道によると、OpenAIは学習用のGPTBotと検索用のOAI-SearchBotを、これまでどおり別々に設定できるようにします。

## アスタリスク（*）ではなく名前を書く

書き方は簡単です。「User-Agent: __usage_ai-training」の下に「Disallow: /」と書けば、サイト全体を学習の対象から外すという意味になります。特定のフォルダだけを開放しておくこともできます。 注意したいのはアスタリスクです。草案は、すべてのロボットを指す「User-Agent: *」のグループを、このトークンとして解釈してはならないと定めています。トークン名を書いた行がなければ、何の意向も示していないものとみなされます。 また、このトークンは収集を止める命令ではありません。ロボットがページを読むことと、読んだ文章を何に使うかは別々に扱われるという説明です。個別の契約がある場合は、契約が優先されることがあります。

| 分類 | ラベル | 意味（IETF語彙草案 第08版） |
|---|---|---|
| AI学習 | train-ai | 生成AIモデルの学習済みの値を変えるために使うこと |
| AI利用 | ai-use | 利用者が直接与えていない資料を生成AIの入力に使うこと |
| 検索 | search | 元の場所へ利用者を案内する用途。要約の生成は除く |

分類はIETFワーキンググループの文書「A Vocabulary For Expressing AI Usage Preferences（AI利用の意向を表す語彙）」の2026年9月14日版から引用しました。この文書も、まだワーキンググループの合意を反映していない草案だと明記されています。

![設定ファイルのような画面が映るノートパソコンと、机の上の手](https://jemiboo.com/img/2026-11-10-tech-inline.jpg)

## 検索には残し、学習だけ外せる

運営者がもっとも気にするのは検索での露出です。Microsoftは、新しい設定がBingの検索結果に表示される資格には影響しないと説明しています。 Bingはさらに一歩踏み込み、ページごとに学習と「グラウンディング」を別々に選べるようにしました。グラウンディングとは、AIが回答を書く際にウェブ文書を根拠として引いてくることです。学習はrobots.txtでサイトやパスの単位で設定し、必要ならページのメタタグでも指定できます。グラウンディングはページのメタタグでのみ設定し、robots.txtにはグラウンディングの設定がありません。 Googleは、Google-Extendedを明示的に許可したサイトは、Geminiアプリの回答に根拠として表示され、クリックを得られると述べています。学習を拒むか、回答の出典として残るか。その見極めは運営者に委ねられることになります。

| 日付 | Microsoft Bingの日程 |
|---|---|
| 2026年12月15日 | NoArchive・NoCacheを使うサイトに暫定のグラウンディング設定を開放 |
| 2027年2月1日 | クロール時に新しい学習・グラウンディング設定の反映を開始 |
| 2027年3月1日 | NoArchive・NoCacheを意向表示として読み取らなくなる |
| 2027年9月30日 | 暫定設定の期限切れ |

## ブログ・メディア運営者がいますべきこと

今回の発表原文とIETF草案には、韓国の検索・AIサービスへの言及はありません。韓国の検索・AI企業が同じトークンに従うかどうかも、まだ決まっていません。 独自ドメインを使っている運営者は、まず「ドメイン/robots.txt」を開き、いま何が書かれているかを確認しましょう。共通トークンは2027年から順次反映されるため、すぐに学習を拒否したい場合は、企業ごとの名前も併記しておくほうが安全です。 11月5日の記事「AIテキスト電子透かし、Claude旧4モデルへ拡大」（https://jemiboo.com/ja/tech/2026-11-05/）がAIの書いた文章に残る印を扱ったのに対し、今回のトークンは人が書いた文章に付ける「使わないでほしい」という印です。

## よくある質問
### robots.txtでAI学習を拒否すると、検索結果から外れますか？
共通トークンは収集そのものを止める命令ではなく、利用目的についての意向表示です。Microsoftは、新しい設定がBing検索結果への表示資格を変えないと説明しています。
### __usage_ai-trainingトークンはいつから有効になりますか？
Googleは2027年の対応を目指し、Microsoftは2027年2月1日から反映を始めます。OpenAIは数か月以内に適用すると報じられています。
### User-Agent: * で拒否すれば、AI学習も拒否したことになりますか？
IETF草案は、アスタリスクのグループをこのトークンとして解釈しないと定めています。AI学習を拒否するには「__usage_ai-training」という名前を別に書く必要があります。

この草案は、まだ一人が提出した個人文書です。ワーキンググループが正式な文書として採択して初めて、標準化の手続きに乗ります。来週のサンフランシスコ会合の議事録が公開されたら、まずトークン名がそのまま維持されるかを確認してください。

## 参考資料
1. Google Search Central Blog, Supporting a shared AI training control for websites（2026年10月30日） — https://developers.google.com/search/blog/2026/10/ai-training-control
2. Microsoft Bing Blog, Your content, your choice: clearer preferences for training and grounding（2026年10月30日） — https://blogs.bing.com/search/2026/10/your-content-your-choice-clearer-preferences-for-training-and-grounding/
3. IETF, draft-kelley-aipref-training-preference-signal-00（2026年10月30日） — https://datatracker.ietf.org/doc/draft-kelley-aipref-training-preference-signal/
4. IETF, A Vocabulary For Expressing AI Usage Preferences, draft-ietf-aipref-vocab-08（2026年9月14日） — https://datatracker.ietf.org/doc/draft-ietf-aipref-vocab/
5. IETF, IETF 127 Agenda（2026年11月9日更新） — https://datatracker.ietf.org/meeting/127/agenda.txt
6. 技術評論社 gihyo.jp、robots.txtによるAI学習制御に関する報道（2026年11月2日） — https://gihyo.jp/article/2026/11/robots-txt-ai-training-controls
