Charlie's volatile short

「全信協クローラ」というものだそうですが、今日は3分の間に84回もGET要求を送ってきました。ほぼ同時に3つもリクエストするわ、同じURLを繰返し要求するわ、robots.txtは見ないわで、クローラとしての仁義(^^;)をわきまえない困ったちゃんです。
#xxxxのついたままのURLでリクエストするのもおかしいですね。

排除されにくいように、非固定IPアドレスで運用しており、UserAgentは「Mozilla/4.0 (compatible; MSIE 6.0; Windows 98)」を名乗っています。

void GraphicWizardsLair( void ); //の情報を参考にして、リファラが空でWindows 98を名乗った要求にはForbidden 403を返すようにしてみました。.htaccessなりhttpd.confに設定を追加してみます。

続きを読む »