robots.txtとは？検索エンジンとAIクローラーに何を伝えるファイルなのか

Webサイトを運用していると、robots.txt は置いた方がいいの？ AIクローラーを止めたいなら何を書けばいいの？ という話が出てきます。
名前だけ見るとセキュリティ設定のようにも見えますが、robots.txt は秘密情報を守るためのファイルではありません。

この記事では、2026年10月時点で RFC 9309、Google Search Central、OpenAI、Anthropic、Perplexity、Apple、Common Crawl の公開情報を確認しながら、robots.txt が検索エンジンとAIクローラーに何を伝えるファイルなのかを整理します。
AI向けの案内ファイルとの違いを先に見たい場合は、llms.txtとは？AI検索時代のWebサイト運用で何を指定するファイルなのか もあわせて読むとつながりやすいです。

robots.txtとは何か

robots.txt は、サイトのルートに置くテキストファイルです。
たとえばこのサイトなら、次のURLで公開されています。

https://engineer-notes.net/robots.txt

中身は次のような形です。

User-agent: *
Allow: /
Sitemap: https://engineer-notes.net/sitemap.xml

これはかなりシンプルで、すべてのクローラーに対して全体を許可し、XMLサイトマップの場所を伝える という意味です。

RFC 9309 では、robots.txt の仕組みは Robots Exclusion Protocol として標準化されています。
ざっくり言うと、クローラーがサイトを巡回する前に /robots.txt を見に行き、そこに書かれたルールを読んで、どのURLパスへアクセスしてよいかを判断する仕組みです。

検索エンジンに何を伝えるのか

robots.txt が検索エンジンへ伝える中心は、クロールしてよい範囲 です。
Google Search Central でも、robots.txt は主にサイトへのクローラーのリクエストを管理するためのものとして説明されています。

よく使う指定は次の3つです。

User-agent: の行で指定する Googlebot などの名前は、クローラーがアクセス時に名乗るUser-Agent(UA)の値です。robots.txt はこの名乗りを見て、どのクローラーにどのルールを適用するかを切り替えます。

たとえば、管理画面や検索結果ページなど、検索エンジンに巡回してほしくない場所があるなら次のように書けます。

User-agent: *
Disallow: /admin/
Disallow: /search
Sitemap: https://example.com/sitemap.xml

noindexとの違い

robots.txt と noindex は混同されやすいです。
でも役割はかなり違います。

Google Search Central も、Webページを検索結果から隠す目的で robots.txt を使わないよう注意しています。
理由は、他のページからリンクされているURLなどは、本文をクロールされなくても検索結果にURLとして出る可能性があるためです。

つまり、実務では次のように分けます。

AIクローラーには何を伝えられるのか

AI検索や生成AIの普及で、robots.txt はAIクローラーの制御にも使われるようになっています。
たとえば、OpenAI は公開ドキュメントで OAI-SearchBot や GPTBot などのクローラーと、robots.txt での制御について案内しています。
Google も Google-Extended という product token を公開しており、今後の Gemini モデルの学習や、Gemini アプリ・Vertex AI でのグラウンディングにコンテンツを使うかどうかの制御に使えると説明しています。Google 検索への登録や順位には影響しないとも明記されています。

ログでAIクローラーの挙動を見る基本は、AIクローラーとは？Webサイト運用でログとrobots.txtを見る基本 で整理しています。

例として、検索エンジンの通常クロールは許可しつつ、特定のAIクローラーだけを止めたい場合は、次のような形になります。

User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

各社の公式ドキュメントで確認できる主な名前は次のとおりです（2026年10月時点）。同じ会社でも、学習用・検索用・利用者の操作による取得で名前が分かれています。

古い解説で見かける anthropic-ai は、2026年10月時点の Anthropic のヘルプには載っていません。また Apple は、Applebot 向けの指定が無い場合は Googlebot 向けの指定に従うと説明しています。

AIクローラー対策を本気で考えるなら、robots.txt だけでなく、サーバーログ、CDNやWAFのBot管理、レート制限、認証、利用規約、必要に応じた法務判断まで含めて考える必要があります。
リクエスト量の制御という観点では、APIのレート制限とは？ログイン・Webhook・外部APIで必要になる理由 も考え方が近いです。

sitemap.xmlやllms.txtとの違い

robots.txt、sitemap.xml、llms.txt は、どれもサイトのルート付近に置かれることが多いので混ざりやすいです。
役割は次のように分けると分かりやすいです。

XMLサイトマップや更新通知の役割まで見るなら、IndexNowとは？何がうれしい？仕組み・XMLサイトマップとの違い・注意点を解説 が近いです。 sitemap.xml の基本から整理したい場合は、sitemap.xmlとは？検索エンジンにURL一覧を伝える基本 もあわせて読むと分かりやすいです。

よくある書き方

小規模な技術ブログやコーポレートサイトなら、まずはこの形で十分なことが多いです。

User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml

検索結果ページや管理画面を避けたいなら、次のようにします。

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /
Sitemap: https://example.com/sitemap.xml

サイト全体を公開前に止めたい場合、次のような指定を見かけます。

User-agent: *
Disallow: /

運用で注意すること

robots.txt は小さいファイルですが、ミスの影響は大きいです。
特に次の点は確認した方がよいです。

Google Search Central には robots.txt の作成・送信・テストに関するドキュメントがあります。 実務では、編集後にブラウザや curl で公開状態を確認し、Google Search Console 側でも問題が出ていないか見るのが堅実です。

robots.txtに関するよくある質問

Q. robots.txt は必須ですか？

A. 必須ではありませんが、推奨です。クローラーへの案内、不要パスのクロール除外、サイトマップ場所の指示、などができます。空でも置く だけで あえて何も禁止していない が伝わります。

Q. Disallow すれば検索結果に出なくなりますか？

A. 出る可能性があります。Disallow は クロール禁止 であって インデックス禁止 ではありません。検索結果から完全に外したいなら noindex メタタグ または X-Robots-Tag: noindex ヘッダーが必要です。

Q. AI クローラー(GPTBot、ClaudeBot など)はブロックできますか？

A. できます。User-agent: GPTBot の Disallow で対応可能です。ただし、User Agent を偽装するクローラー には効きません。また、ChatGPT-User や Perplexity-User のような利用者の操作による取得には robots.txt が適用されない場合がある、と各社が説明しています。確実に止めたいなら CDN や WAF 層での制御が必要です。

Q. Crawl-delay は使うべきですか？

A. Google は対応していません。対応を明記している会社（Anthropic など）もあれば、無視すると明記している会社（Apple など）もあり、扱いはクローラーごとに違います。Search Console のクロール頻度の設定は2024年1月に廃止されたため、Googlebot の巡回を一時的に減らしたいときは、Google の案内どおり 500・503・429 を返す方法を使います。

Q. Sitemap 指定の効果は？

A. サイトマップの場所を検索エンジンに伝える方法の1つです。Sitemap: https://example.com/sitemap.xml の1行を書いておけば、Search Console などで送信していない検索エンジンにも場所を知らせられます。ただし、書いたからといってすべての URL がインデックスされるわけではありません。

Q. 管理画面のパスは書くべきですか？

A. 書かない方が安全です。Disallow: /admin/ と書くと、admin というパスが存在する ことを攻撃者に教えてしまいます。noindex メタタグ + IP 制限 で守る方が安全です。

Q. サブドメインごとに別の robots.txt が必要ですか？

A. 必要です。www.example.com と blog.example.com は別サイト扱いで、それぞれにrobots.txt が必要です。

まとめ

robots.txt は、検索エンジンやAIクローラーに対して、サイト内のどのパスをクロールしてよいか、避けてほしいかを伝えるファイルです。
User-agent で対象クローラーを指定し、Allow や Disallow で方針を書き、必要に応じて Sitemap でXMLサイトマップの場所を伝えます。

ただし、robots.txt は検索結果から隠すための仕組みでも、秘密情報を守るための仕組みでもありません。
検索に出したくないページは noindex、見られてはいけないページは認証やアクセス制御、AIクローラー対策はログ監視やBot管理まで含めて考えるのが現実的です。

小規模サイトなら、まずは User-agent: *、Allow: /、Sitemap: ... のシンプルな構成から始め、必要な場所だけ慎重に制御するのが安全です。

参考

• IETF RFC 9309: Robots Exclusion Protocol
• Google Search Central: Introduction to robots.txt
• Google Search Central: Create and submit a robots.txt file
• Google Search Central: Google crawlers and fetchers
• OpenAI: Overview of OpenAI Crawlers
• Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
• Apple: About Applebot
• Perplexity Docs: Perplexity Crawlers
• Common Crawl: CCBot
• Google Search Central Blog: Upcoming deprecation of Crawl Rate Limiter Tool in Search Console
• Search Console ヘルプ: Search generative AI control