Charlie's volatile short

日常をとりまくあれこれ

クローラのアク禁・その2

2007/07/11

21:51:22, 著者: Charlie

クローラのアク禁・その2

「行儀の悪いクローラのアクセスを禁止する」で全信協のクローラにアク禁を出したのが一か月前。今度は別のが来ていたので、仕方なく拒否ルールを増やしました。

UserAgentは「Mozilla/5.0 Gecko Firefox」と、ブラウザを装っています。 HEAD要求を出して直後にGET要求を出す、というのを繰り返していて15秒の間に約30リクエストを投げてきました。URL換算だと1秒に1つですね。これを断続的に繰り返していました。

UserAgentが特徴的（バージョン無しのFirefoxなんて本当のブラウザならありえなさそう）なので、早速前回の記述の後ろに規則を追加します。

[◇◇◇]

RewriteCond %{HTTP_USER_AGENT} "^Mozilla/5.0 Gecko Firefox$"
RewriteRule ^.*$ / [F,L]

これが良く分からないクローラで、トップページと、それに関係するcss&画像だけ漁ってまた同じことの繰り返し。サイトのサムネイル画像を作るためとか？

ちなみに、百度（baidu)のクローラーはお断りでも取り上げられている百度(Baiduspider+)は、うちの場合Yahoo! Slurpと同じくらいの頻度のようです。

外部リンク
void GraphicWizardsLair( void ); //

カテゴリ: コンピュータ

パーマリンクコメントを残す • トラックバック (0)

•

この記事へのトラックバックアドレス

http://blog.mura.com/blogs/htsrv/trackback.php/116

コメント, トラックバック, ピンバック:

この投稿へのコメント/トラックバック/ピンバックはまだありません...

コメントを残す:

名前:

メール:

頂いたメールアドレスはこのサイト上には表示されません。

サイト/URL:

頂いたURLは表示されます。

コメント文:

使用可能な XHTML タグ: <p, ul, ol, li, dl, dt, dd, address, blockquote, ins, del, span, bdo, br, em, strong, dfn, code, samp, kdb, var, cite, abbr, acronym, q, sub, sup, tt, i, b, big, small>

オプション:

自動-BR (改行が自動で <br /> になります)
名前を記憶 (名前、メールアドレス、URLを記憶する Cookie を発行します)
メッセージ・フォームを許可 (ユーザがメッセージ・フォームを通してあなたに連絡することを許可します (あなたのメール・アドレスは表示されません))