URLがrobot.txtによってブロックされていますというエラーの対処方法

WiFiが使えるカフェで作業をするIT美女
【広告】

ホームページを作成している途中は、

検索エンジンにインデックスされないようにするべきだと

こちらのページで説明しています。

 

ところが、このブロックを解除した直後に問題が発生します。

知っていれば大したことはありませんが、知らないとビックリするでしょう。

なので、その対処方法を解説しておきます。

どういう問題が起きるのか?

まずは、どういう問題が起きてしまうのか確認しておきましょう。

こちらの図を見てください。

検索エンジンのインデックスを許可した直後

検索エンジンのインデックスを許可した直後(クリックして拡大)

 

問題の件数に「警告数:15」というのが出ています。

これは当サイトが検索エンジンのインデックスを許可した直後ですが、

時間が経過していくにつれて最大で34個まで警告が出ていました。

 

そして、このリンクをクリックすると

『URLがrobots.txtによってブロックされています』というメッセージが出ています。

クローラがサイトを巡回できない(ブロックされている)ということを意味しており、

大きな問題のように感じます。

【広告】

時間が経てば自然と解決する

”大きな問題のように感じます”と表現したのは、実際には問題ではないからです。

というのも、これは時間が経てば自然と解決するのです。

 

どうやら、”検索エンジンにインデックスさせない”のオプションをオフにしても

すぐにウェブマスターツールのSearch Consoleには反映されないみたいですね。

 

オプションをオンにしていたときは、ブロックされていたわけですから、

この状態のままで表示が続いてしまっていると考えられるのです。

その根拠となるのがこちらの画像です。

サイトマップ警告画面

インデックスされながらも警告がMAXの状態(クリックして拡大)

 

「1インデックスに登録済み」と表示されているのにも関わらず、警告数が34となったままです。

実際、Google検索で「site:wp-site.kotohajime.info」とキーワードに入れて検索すると

いくつかのページが表示され、正常にインデックスされていることがわかります。

 

もし、ブロックされたままだとしたインデックスされるわけがないんです。

したがって、この警告数は”今”の状態を反映したものではなく、

若干のタイムラグがあると考えていいでしょう。

 

もし、数日待って問題が解消されないようなら、別の原因があると疑うべきですが、

それまではしばらく様子を見ることがこの問題への対処方法なのです。

積極的な解決策はないのか?

でも、ただ待つだけでは不安になりますので、私たちにできることを紹介しておきましょう。

それは、サイトマップを再送信することです。

手順を説明します。

 

まず、ウェブマスターツールのサーチコンソール画面の

左側に並んでいる「サイトマップ」をクリックしてサイトマップ画面を出します。

その画面でサイトマップファイル名が表示されるので、クリックしてください。

サイトマップ画面

サイトマップ画面(クリックして拡大)

 

すると、サイトマップインデックス画面に切り替わりますので、

右上にある「再送信」ボタンをクリックすれば完了です。

サイトマップインデックス画面

サイトマップインデックス画面(クリックして拡大)

 

これで表示が正常に戻る場合があります。

”場合”がありますというのは、十分に時間が経過した後なら再送信で解決するという意味です。

この方法は、表示を正常に戻すだけの効果しかありませんので、

根本的には、時間が経つのを待つということには変わりありません。

正常に戻ったときの表示

問題が無事解決したら、このようにキレイに警告は全て消えます。

当サイトは、2日ほどで正常な表示になりました。

サイトマップ正常になった後

サイトマップ正常になった後(クリックして拡大)

 

もし、2、3日待っても問題が解決しない場合は、

robots.txtテスターを使ってrobots.txtが最新の正常な状態になっているか

調べてみてください。

 

この問題に限らず、Googleの問題は時間が経過しないと解決しないことがあります。

慌てず騒がず、落ち着いて対処することが大切です。

コメント

  • トラックバックは利用できません。

  • コメント (0)

  1. この記事へのコメントはありません。