拡張子によってYahoo! Slurpのクロールを制御

Yahoo! Slurpの解釈するrobot.txtの内容がいつの間にか拡張されていたようです。

Yahoo! Search、robots.txtでワイルドカードに対応、クローラSlurpに対して指定した文字列を含む全てのファイル／ディレクトリへのアクセス禁止指示をすることが可能に。

なんといっても目玉なのは拡張子によってクロールが制御できるということでしょうか。

Yahoo! Search blog: Yahoo! Search Crawler (Yahoo! Slurp) - Supporting wildcards in robots.txt

User-Agent: Yahoo! Slurp
Disallow: /*.gif$

こんな感じにするとサイトにある.gifを拡張子に持つファイルをすべて禁止することができるみたいです。mod_rewiteなんかで動的サイトを静的に見せたりしているような場合に、ロボットによる過負荷を防ぐには便利そうですね。

こんな記事もあります「文字列 SEM Search」

トラックバックについて

Trackback URL:

お気軽にどうぞ。トラックバック前にポリシーをお読みください。[policy]

このエントリへのTrackbackにはこのURLが必要です→https://blog.cles.jp/item/1716

Trackbacks

このエントリにトラックバックはありません

Comments

愛のあるツッコミをお気軽にどうぞ。[policy]
古いエントリについてはコメント制御しているため、即時に反映されないことがあります。

コメントはありません

Comments Form

コメントは承認後の表示となります。
OpenIDでログインすると、即時に公開されます。

OpenID を使ってログインすることができます。

サイト内検索

検索ワードランキング

へぇが多いエントリ

閲覧数が多いエントリ

cles::blog