Charlie's volatile short

日常をとりまくあれこれ

クローラのアク禁・その2

2007/07/11

パーマリンク 21:51:22, 著者: Charlie

クローラのアク禁・その2

「行儀の悪いクローラのアクセスを禁止する」で全信協のクローラにアク禁を出したのが一か月前。今度は別のが来ていたので、仕方なく拒否ルールを増やしました。

UserAgentは「Mozilla/5.0 Gecko Firefox」と、ブラウザを装っています。 HEAD要求を出して直後にGET要求を出す、というのを繰り返していて15秒の間に約30リクエストを投げてきました。URL換算だと1秒に1つですね。これを断続的に繰り返していました。

UserAgentが特徴的（バージョン無しのFirefoxなんて本当のブラウザならありえなさそう）なので、早速前回の記述の後ろに規則を追加します。

[◇◇◇]

RewriteCond %{HTTP_USER_AGENT} "^Mozilla/5.0 Gecko Firefox$"
RewriteRule ^.*$ / [F,L]

これが良く分からないクローラで、トップページと、それに関係するcss&画像だけ漁ってまた同じことの繰り返し。サイトのサムネイル画像を作るためとか？

ちなみに、百度（baidu)のクローラーはお断りでも取り上げられている百度(Baiduspider+)は、うちの場合Yahoo! Slurpと同じくらいの頻度のようです。

外部リンク
void GraphicWizardsLair( void ); //

カテゴリ: コンピュータ

パーマリンクパーマリンク コメントを残す • トラックバック (0) • hatena bookmark

この記事へのトラックバック アドレス

http://blog.mura.com/blogs/htsrv/trackback.php/116

コメント, トラックバック, ピンバック:

この投稿への コメント/トラックバック/ピンバック はまだありません...

コメントを残す:

頂いたメールアドレスはこのサイト上には表示されません。
頂いたURLは表示されます。

使用可能な XHTML タグ: <p, ul, ol, li, dl, dt, dd, address, blockquote, ins, del, span, bdo, br, em, strong, dfn, code, samp, kdb, var, cite, abbr, acronym, q, sub, sup, tt, i, b, big, small>
(改行が自動で <br /> になります)
(名前、メールアドレス、URLを記憶する Cookie を発行します)
(ユーザがメッセージ・フォームを通してあなたに連絡することを許可します (あなたのメール・アドレスは表示されません))

Charlie's volatile short

7月 2010
日 月 火 水 木 金 土
 << <   > >>
        1 2 3
4 5 6 7 8 9 10
11 12 13 14 15 16 17
18 19 20 21 22 23 24
25 26 27 28 29 30 31

リンク

  • ありくい - ブログが手軽に書けます。ボタン一つでコンテンツマッチ・アフィリエイトが挿入できるブログツール「どこでもありくい」も提供中。
  • glucose2 - ブログをたくさん読むならRSSリーダー
  • エンジニア募集中 [Perl, PHP, JavaScript][SOHO, アルバイト可]

  • ブログ之ネタ [ブロガー御用達ポータル]

  • rico [PV改善,サイト内SEO,ブログパーツ]

最近の記事

カテゴリ

アーカイブ

検索




いろいろ

XMLフィード

RSSとは?

オンラインユーザ一覧

  • ゲスト ユーザ: 3

powered by
b2evolution