analogとrobotsと

Tue, 28 Mar 2017 23:55:59 +0900

15日に書いた、常時SSL(AOSSL)の流れで301リダイレクトさせるようにした件。

analogより

そのうちGoogleやYahoo!のキャッシュがリフレッシュされ、直接HTTPSでリファラが飛んでくるようになるかと思いきや、逆に1日に200近くだったアクセス数がどんどん減ってここ数日は安定的に100も越えなくなった。

analogの解析結果を見たところ、9552回の301リダイレクトに対して200 OKはたった304回しかなく、GooglebotやYahoo!のクローラがリダイレクト後のフォローをしていない気配。

なんでクローラがリトライして来ないのかと考えていたのだが、ウェブマスターツール改めGoogle Search Consoleを確認したところ、robots.txtの内容として

User-agent: *
Disallow: /

を返しているので、クロール対象外になっている事がわかった。

よくよく調べてみると、/etc/apache2/sites-available/www.bravotouring.com.confの

側設定が

Alias /robots.txt /home/yano/public_html/robots.Disallow_all

となっていたので、

Alias /robots.txt /home/yano/public_html/robots.txt

User-agent: yodaobot
Disallow: /

User-agent: YodaoBot
Disallow: /

となる事を確認し、一段落。

2017/03/28 on Yano's digital garage