BLOGTIMES
« :: »
2007/12/24

MJ12bot来襲

 
このエントリーをはてなブックマークに追加

MJ12botという変なロボットが猛烈なアクセスをしていたのでシャットアウトしました。

151.71.234.118 - - [24/Dec/2007:20:14:10 +0900] "GET /item/30 HTTP/1.1" 200 46222 "-" "MJ12bot/v1.0.8 (http://majestic12.co.uk/bot.php?+)"

サイトにはrobots.txtに従うと書いてあるのですが、Disallow指定をしているURLもバンバン叩いてくるのであまり行儀がよろしくないです。Crawl-Delayを指定しないと適切なクロール頻度にならないというのもかなり致命的です。


    by hsur at 20:15 [3年前][2年前][1年前][1年後][2年後][3年後][4年後][5年後] |
    こんな記事もあります 「Crawl-Delay bot Disallow」
    ・Google が検索結果からキャッシュへのリンクを削除
    ・日本の実在の大学を詐称するウィルス付きメールに注意
    ・ハーバード大の CS50 の 2022 年版が公開されてた
    ・UNIPA RX を API 化する「UNIPA-Agent」
    ・Amazon がルンバを買収
    ・近視を抑制する Kubota Glass は 77 万円
    ・SheepShaver に MacOS9 をインストール
    ・Chrome / Firefox のバージョンが 3 桁になることに注意
    ・Let's Encrypt 証明書の失効に注意
    ・L0phtCrack が OSS に
    トラックバックについて
    Trackback URL:
    お気軽にどうぞ。トラックバック前にポリシーをお読みください。[policy]
    このエントリへのTrackbackにはこのURLが必要です→https://blog.cles.jp/item/2339
    Trackbacks
    このエントリにトラックバックはありません
    Comments
    愛のあるツッコミをお気軽にどうぞ。[policy]
    古いエントリについてはコメント制御しているため、即時に反映されないことがあります。
    コメントはありません
    Comments Form

    コメントは承認後の表示となります。
    OpenIDでログインすると、即時に公開されます。

    OpenID を使ってログインすることができます。

    Identity URL: Yahoo! JAPAN IDでログイン

    « :: »
    Copyright © 2004-2023 by CLES All Rights Reserved.