BLOGTIMES
« :: »
2007/12/24

MJ12bot来襲

 
このエントリーをはてなブックマークに追加

MJ12botという変なロボットが猛烈なアクセスをしていたのでシャットアウトしました。

151.71.234.118 - - [24/Dec/2007:20:14:10 +0900] "GET /item/30 HTTP/1.1" 200 46222 "-" "MJ12bot/v1.0.8 (http://majestic12.co.uk/bot.php?+)"

サイトにはrobots.txtに従うと書いてあるのですが、Disallow指定をしているURLもバンバン叩いてくるのであまり行儀がよろしくないです。Crawl-Delayを指定しないと適切なクロール頻度にならないというのもかなり致命的です。


    by hsur at 20:15 [3年前][2年前][1年前][1年後][2年後][3年後][4年後][5年後] |
    こんな記事もあります 「MJ Disallow 151.71.234.118」
    ・和歌山産の不知火
    ・bluesky が招待制を終了
    ・珠洲市の津波計のデータが欠測なのは隆起で場所が海底でなくなったから
    ・料理の鉄人の陳建一が逝去
    ・Applesoft BASIC エミュレータを使って大昔のセンター試験の問題を動かしてみた
    ・国立大は共通テストでプログラミングが必須に
    ・ssh の RSA キーファイルから素数を取り出してみた
    ・光学スリムドライブベイ用 M.2 マウンタ
    ・10 年前に紛失した USB メモリが見つかって大騒ぎ
    ・Canon もミラーレスのフラッグシップ機を投入へ
    トラックバックについて
    Trackback URL:
    お気軽にどうぞ。トラックバック前にポリシーをお読みください。[policy]
    このエントリへのTrackbackにはこのURLが必要です→https://blog.cles.jp/item/2339
    Trackbacks
    このエントリにトラックバックはありません
    Comments
    愛のあるツッコミをお気軽にどうぞ。[policy]
    古いエントリについてはコメント制御しているため、即時に反映されないことがあります。
    コメントはありません
    Comments Form

    コメントは承認後の表示となります。
    OpenIDでログインすると、即時に公開されます。

    OpenID を使ってログインすることができます。

    Identity URL: Yahoo! JAPAN IDでログイン

    « :: »
    Copyright © 2004-2023 by CLES All Rights Reserved.