Pockey-GetHTMLを蹴るようにしました

どうもサーバに負荷がかかっているので、調べてみたらUAがPockey-GetHTMLなアクセスがどっさり。
robots.txtは読み込んでいるようですが、中身にはちゃんと従わない困ったロボットのようなので、蹴ってしまうことにしました。

色々調べてみると、どうやらGetHTMLWという名前のダウンローダーのようです。
robots.txtを読むんだったら、ちゃんと中身に従って欲しいものです。

ホームページをまるごと Get して、オフラインで閲覧 GUI版

こんな記事もあります「robots txt 中身」

トラックバックについて

Trackback URL:

お気軽にどうぞ。トラックバック前にポリシーをお読みください。[policy]

このエントリへのTrackbackにはこのURLが必要です→https://blog.cles.jp/item/2522

Trackbacks

このエントリにトラックバックはありません

Comments

愛のあるツッコミをお気軽にどうぞ。[policy]
古いエントリについてはコメント制御しているため、即時に反映されないことがあります。

コメントはありません

Comments Form

コメントは承認後の表示となります。
OpenIDでログインすると、即時に公開されます。

OpenID を使ってログインすることができます。

サイト内検索

検索ワードランキング

へぇが多いエントリ

閲覧数が多いエントリ

cles::blog