しょぼかるの「サーバが不調あるいは...」というエラーが出まくっていた主な原因は私の実装のミスなんだけど、修正したあとも何度か発生してる。解決するためには上限を上げればいいんだけど、上げたら負けな気がしてログを見てみると...。
119.63.193.70 - - [09/Mar/2010:12:51:01 +0900] "GET / HTTP/1.1" 200 22282 "" "Baiduspider+(+http://www.baidu.jp/spider/)" 0 119.63.193.70 - - [09/Mar/2010:12:51:01 +0900] "GET /css/common HTTP/1.1" 200 3714 "" "Baiduspider+(+http://www.baidu.jp/spider/)" 0 119.63.193.70 - - [09/Mar/2010:12:51:01 +0900] "GET /css/index HTTP/1.1" 200 2815 "" "Baiduspider+(+http://www.baidu.jp/spider/)" 0 119.63.193.70 - - [09/Mar/2010:12:51:01 +0900] "GET /tid/1035 HTTP/1.1" 200 24910 "" "Baiduspider+(+http://www.baidu.jp/spider/)" 0 〜略〜 119.63.193.70 - - [09/Mar/2010:12:51:14 +0900] "GET /css/common HTTP/1.1" 200 3714 "" "Baiduspider+(+http://www.baidu.jp/spider/)" 0 119.63.193.70 - - [09/Mar/2010:12:51:14 +0900] "GET /css/tid?20090422 HTTP/1.1" 200 2380 "" "Baiduspider+(+http://www.baidu.jp/spider/)" 0 119.63.193.70 - - [09/Mar/2010:12:51:14 +0900] "GET /css/common HTTP/1.1" 200 3714 "" "Baiduspider+(+http://www.baidu.jp/spider/)" 0
15秒で497回w
アクセス間隔設定できないのかな? と思って探すとすぐに見つかった。
さっそく設定した。
Baiduさんの曰く
1. 総合的な方法で、サイトの限界を評価し、サイトに対してページクローリングの頻度をコントロールします。
Baidu.jp、Baidu Spiderに関する御詫びと対処法について
2. 自動的にサイトのフィードバックを探知し、サイトへのクローリングの頻度が大きすぎた場合、自動的に下げます。
評価失敗してる...こっちは雑魚なんだから...。
