analogとrobotsと

IT

15日に書いた、常時SSL(AOSSL)の流れで301リダイレクトさせるようにした件。

9552回の301応答に対して200 OKはたった304回

analogより

そのうちGoogleやYahoo!のキャッシュがリフレッシュされ、直接HTTPSでリファラが飛んでくるようになるかと思いきや、逆に1日に200近くだったアクセス数がどんどん減ってここ数日は安定的に100も越えなくなった。

analogの解析結果を見たところ、9552回の301リダイレクトに対して200 OKはたった304回しかなく、GooglebotやYahoo!のクローラがリダイレクト後のフォローをしていない気配。

なんでクローラがリトライして来ないのかと考えていたのだが、ウェブマスターツール改めGoogle Search Consoleを確認したところ、robots.txtの内容として

User-agent: *
Disallow: /

を返しているので、クロール対象外になっている事がわかった。

よくよく調べてみると、/etc/apache2/sites-available/www.bravotouring.com.confの

<VirtualHost *:443>

側設定が

Alias /robots.txt /home/yano/public_html/robots.Disallow_all

となっていたので、

Alias /robots.txt /home/yano/public_html/robots.txt

に変更。ウェブマスターツール改めGoogle Search Consoleで

User-agent: yodaobot
Disallow: /
User-agent: YodaoBot
Disallow: /

となる事を確認し、一段落。

参照

Google Search Console https://www.google.com/webmasters/tools/

Wikipedia https://ja.wikipedia.org/wiki/