ソフトウェア AI 2026.04.22 閲覧数 6 robots.txtとは？検索エンジンとAIクローラーに何を伝えるファイルなのか robots.txtとは何か、検索エンジンやAIクローラーに何を伝えるファイルなのか、Disallow、Allow、Sitemap、noindexとの違い、運用時の注意点を整理します。 # SEO # クローラー # robots.txt
