サーバー 2026.09.12 9 robots.txtでUser-agentを名指しすると、アスタリスクの指定が効かなくなる｜AIクローラーの止め方 robots.txt にクローラー名を書いたグループを作ると、そのクローラーにはアスタリスクのグループが一切適用されなくなります。結合ではなく置き換えなので、拒否を1行も書いていないグループを足しただけで制限が外れることがあります。標準ライブラリで再現した結果と、AIクローラーを検索用と学習用で書き分ける方法をまとめます。 # Python # SEO # LLMO
ソフトウェア AI 2026.04.22 136 AIクローラーとは？Webサイト運用でログとrobots.txtを見る基本 AIクローラーとは何か、Webサイト運用でアクセスログとrobots.txtをどう見るのか、GPTBot、OAI-SearchBot、Google-Extended、PerplexityBot、CCBotの違いも含めて整理します。 # CDN # LLMO # robots.txt
ソフトウェア AI 2026.04.22 256 robots.txtとは？検索エンジンとAIクローラーに何を伝えるファイルなのか robots.txtとは何か、検索エンジンやAIクローラーに何を伝えるファイルなのか、Disallow、Allow、Sitemap、noindexとの違い、運用時の注意点を整理します。 # SEO # クローラー # robots.txt
