- blogs:
- cles::blog
2006/11/24

拡張子によってYahoo! Slurpのクロールを制御


Yahoo! Slurpの解釈するrobot.txtの内容がいつの間にか拡張されていたようです。
Yahoo! Search、robots.txtでワイルドカード対応 :: SEM R
Yahoo! Search、robots.txtでワイルドカードに対応、クローラSlurpに対して指定した文字列を含む全てのファイル/ディレクトリへのアクセス禁止指示をすることが可能に。
なんといっても目玉なのは拡張子によってクロールが制御できるということでしょうか。
Yahoo! Search blog: Yahoo! Search Crawler (Yahoo! Slurp) - Supporting wildcards in robots.txt
User-Agent: Yahoo! Slurp
Disallow: /*.gif$
こんな感じにするとサイトにある.gifを拡張子に持つファイルをすべて禁止することができるみたいです。mod_rewiteなんかで動的サイトを静的に見せたりしているような場合に、ロボットによる過負荷を防ぐには便利そうですね。
トラックバックについて
Trackback URL:
お気軽にどうぞ。トラックバック前にポリシーをお読みください。[policy]
このエントリへのTrackbackにはこのURLが必要です→https://blog.cles.jp/item/1716
Trackbacks
このエントリにトラックバックはありません
Comments
愛のあるツッコミをお気軽にどうぞ。[policy]
古いエントリについてはコメント制御しているため、即時に反映されないことがあります。
古いエントリについてはコメント制御しているため、即時に反映されないことがあります。
コメントはありません
Comments Form
コメントは承認後の表示となります。
OpenIDでログインすると、即時に公開されます。
OpenID を使ってログインすることができます。
サイト内検索
検索ワードランキング
へぇが多いエントリ
閲覧数が多いエントリ
1 . アーロンチェアのポスチャーフィットを修理(114456)
2 . 福岡銀がデマの投稿者への刑事告訴を検討中(112971)
3 . 年次の人間ドックへ(112395)
4 . 2023 年分の確定申告完了!(1つめ)(111962)
5 . 三菱鉛筆がラミーを買収(111835)
2 . 福岡銀がデマの投稿者への刑事告訴を検討中(112971)
3 . 年次の人間ドックへ(112395)
4 . 2023 年分の確定申告完了!(1つめ)(111962)
5 . 三菱鉛筆がラミーを買収(111835)
cles::blogについて
Referrers