15日に書いた、常時SSL(AOSSL)の流れで301リダイレクトさせるようにした件。
analogより |
そのうちGoogleやYahoo!のキャッシュがリフレッシュされ、直接HTTPSでリファラが飛んでくるようになるかと思いきや、逆に1日に200近くだったアクセス数がどんどん減ってここ数日は安定的に100も越えなくなった。
analogの解析結果を見たところ、9552回の301リダイレクトに対して200 OKはたった304回しかなく、GooglebotやYahoo!のクローラがリダイレクト後のフォローをしていない気配。
なんでクローラがリトライして来ないのかと考えていたのだが、ウェブマスターツール改めGoogle Search Consoleを確認したところ、robots.txtの内容として
User-agent: *を返しているので、クロール対象外になっている事がわかった。
Disallow: /
よくよく調べてみると、/etc/apache2/sites-available/www.bravotouring.com.confの
<VirtualHost *:443>側設定が
Alias /robots.txt /home/yano/public_html/robots.Disallow_allとなっていたので、
Alias /robots.txt /home/yano/public_html/robots.txtに変更。ウェブマスターツール改めGoogle Search Consoleで
User-agent: yodaobotとなる事を確認し、一段落。
Disallow: /
User-agent: YodaoBot
Disallow: /
【参照】
●Google Search Console https://www.google.com/webmasters/tools/
●Wikipedia https://ja.wikipedia.org/wiki/
┣HTTPS
┣HTTPリファラ
┣Googlebot
┗クローラ