百度の規制解除

Thu, 22 Feb 2007 23:19:09 +0900

さて1月13日と1月22日に書いたように当サイトではアクセス規制の対象としている「中国の最大の検索エンジン」百度。

CNET Japanの記事に因ると、最近http://www.baidu.jp/において日本のサイト管理者に向けてのお詫びメッセージを発表した模様。

「今頃気付いたのかよ」という気が無きにしもあらずだが、何はともあれ改める姿勢を見せたのは歓迎すべき事だ。早速

各サイトにクローラー負荷を下げさせています。Baiduspiderの最大クローラー頻度は9回/秒から1回/3秒までに下げさせました。以前クローラー頻度の1/27になりました。
各サイトの規模とIP負荷に対し、それぞれ対応できるクローラー対策を設定し、中小のサイトに対し、クローラー頻度は20秒/回以内にコントロールしています。
サイトに対し圧縮クローラー機能を追加して、同じ負荷でサイトにのアクセス量はもともとの1/3に下げさせます。
各サイトに対し、毎日のクローラー総量をコントロールし、もしサイトの最大制限を超えると、当日で調整させます。
もし各サイト管理者はBaiduspiderに対し、何かご質問がございましたら、たいへんお手数ですが、webmaster-jp@baidu.comまでにご連絡して頂きたいと思います。

という対応策を講じた事を表明しており、また実際のトラヒックも2月に入ってから減り始めてここ一週間は一度もアクセスが無い事からも、タイムラグはあったもののrobots.txtの設定は誠実に反映されているものと思われる。

微妙に第三者的な雰囲気が感じられる文面がまだそこはかとない胡散臭さを漂わせているが、こちらとしても"Baiduspider"の検索結果から飛んできた場合まで拒否してしまう弊害を引きずっているので、ひとまず"Baidu"系のアクセス規制は解除しておく事に。

2007/02/22 on Yano's digital garage