タグ

LLMO

LLMO に関連する記事をまとめています。

サーバー 2026.09.12 23

robots.txtでUser-agentを名指しすると、アスタリスクの指定が効かなくなる|AIクローラーの止め方

robots.txt にクローラー名を書いたグループを作ると、そのクローラーにはアスタリスクのグループが一切適用されなくなります。結合ではなく置き換えなので、拒否を1行も書いていないグループを足しただけで制限が外れることがあります。標準ライブラリで再現した結果と、AIクローラーを検索用と学習用で書き分ける方法をまとめます。