2007/07/11

パーマリンク 21:51:22, 著者: Charlie

クローラのアク禁・その2

行儀の悪いクローラのアクセスを禁止する」で全信協のクローラにアク禁を出したのが一か月前。今度は別のが来ていたので、仕方なく拒否ルールを増やしました。

UserAgentは「Mozilla/5.0 Gecko Firefox」と、ブラウザを装っています。 HEAD要求を出して直後にGET要求を出す、というのを繰り返していて15秒の間に約30リクエストを投げてきました。URL換算だと1秒に1つですね。これを断続的に繰り返していました。

UserAgentが特徴的(バージョン無しのFirefoxなんて本当のブラウザならありえなさそう)なので、早速前回の記述の後ろに規則を追加します。

...

RewriteCond %{HTTP_USER_AGENT} "^Mozilla/5.0 Gecko Firefox$"
RewriteRule ^.*$ / [F,L]

これが良く分からないクローラで、トップページと、それに関係するcss&画像だけ漁ってまた同じことの繰り返し。サイトのサムネイル画像を作るためとか?


ちなみに、百度(baidu)のクローラーはお断りでも取り上げられている百度(Baiduspider+)は、うちの場合Yahoo! Slurpと同じくらいの頻度のようです。

外部リンク
void GraphicWizardsLair( void ); //

この記事へのトラックバック アドレス

Trackback URL (right click and copy shortcut/link location)

フィードバックはまだありません...

コメントを残す


Your email address will not be revealed on this site.
(改行が自動で <br /> になります)
(For my next comment on this site)
(Allow users to contact me through a message form -- Your email will not be revealed!)
3月 2024
 << <   > >>
          1 2
3 4 5 6 7 8 9
10 11 12 13 14 15 16
17 18 19 20 21 22 23
24 25 26 27 28 29 30
31            

リンク

最近の記事

アーカイブ

検索

XMLフィード

blog software