BLOGTIMES
2006/11/24

拡張子によってYahoo! Slurpのクロールを制御

  yahoo  seo 
このエントリーをはてなブックマークに追加

Yahoo! Slurpの解釈するrobot.txtの内容がいつの間にか拡張されていたようです。

Yahoo! Search、robots.txtでワイルドカード対応 :: SEM R

Yahoo! Search、robots.txtでワイルドカードに対応、クローラSlurpに対して指定した文字列を含む全てのファイル/ディレクトリへのアクセス禁止指示をすることが可能に。

なんといっても目玉なのは拡張子によってクロールが制御できるということでしょうか。

Yahoo! Search blog: Yahoo! Search Crawler (Yahoo! Slurp) - Supporting wildcards in robots.txt

User-Agent: Yahoo! Slurp
Disallow: /*.gif$

こんな感じにするとサイトにある.gifを拡張子に持つファイルをすべて禁止することができるみたいです。mod_rewiteなんかで動的サイトを静的に見せたりしているような場合に、ロボットによる過負荷を防ぐには便利そうですね。


    トラックバックについて
    Trackback URL:
    お気軽にどうぞ。トラックバック前にポリシーをお読みください。[policy]
    このエントリへのTrackbackにはこのURLが必要です→https://blog.cles.jp/item/1716
    Trackbacks
    このエントリにトラックバックはありません
    Comments
    愛のあるツッコミをお気軽にどうぞ。[policy]
    古いエントリについてはコメント制御しているため、即時に反映されないことがあります。
    コメントはありません
    Comments Form

    コメントは承認後の表示となります。
    OpenIDでログインすると、即時に公開されます。

    OpenID を使ってログインすることができます。

    Identity URL: Yahoo! JAPAN IDでログイン