URLがrobots.txtによってブロックされています。｜サーチコンソールのエラーを解決！

Webサイトを作って、Googleサーチコンソールにサイトマップを送信したら、

「URLがrobots.txtによってブロックされています。」

というメッセージが出てきた。

この記事では、そんなあなたが「URLがrobots.txtによってブロックされています。」というエラーを理解・解決するお手伝いをいたします。

最後まで読んで、エラーを解決しましょう！

目次閉じる

「URLがrobots.txtによってブロックされています。」と表示される原因

「URLがrobots.txtによってブロックされています。」というエラーは、Googleサーチコンソールにサイトマップを送信した後に出るエラーです。

このエラーメッセージを1つ1つ噛み砕いていきましょう。

robots.txtとは、サイト内の任意のページに対して、検索エンジンが巡回しないように指示することができるテキストファイルのことです。

robots.txtの記述を変更することにより、ページはインターネット上に存在するが検索はされないようにすることができます。

サイトマップとは、「サイト内のページの構造を分かりやすく示した地図のようなもの」です。

サイトマップをサーチコンソールに登録することで、検索エンジンがあなたのサイトを巡回する(クロール)時に迷わず適切に処理ができるようになります。

「URLがrobots.txtによってブロックされています。」というエラーメッセージはこのサイトマップを送信した後に起きたのですから、検索エンジンがサイトマップをもとにあなたのサイトを巡回する際に問題が起きたのだと考えられます。

以上より、「URLがrobots.txtによってブロックされています。」というエラーメッセージは、

ということを意味します。

「robots.txtなんて設定した覚えない…」というあなた！

実は、知らないうちにrobots.txtを設定しているかもしれません。

次節以降では、具体的な解決方法を解説します。

Webサイト運営にWordPressをお使いの方は、まずこの解決方法をお試しください。

WordPressには、「検索エンジンがサイトをインデックスしないようにする」設定があります。

まず、WordPressの管理画面左サイドメニュー[設定]>[表示設定]を開きます。

表示された画面から、「検索エンジンがサイトをインデックスしないようにする」を探しましょう。

Webサイトの創設直後に、「コンテンツや記事がまだ十分ではないから検索されないようにする」といった意図でチェックしていることが多いです。

この項目にチェックが付いている場合は、チェックを外しましょう。

Googleサーチコンソールのrobots.txtテスターツールを使用すると、robots.txtの中身を直接覗くことができます。

WordPressで「検索エンジンがサイトをインデックスしないようにする」と設定した場合も、このファイルの記述が変更されます。

WordPressの設定画面から設定しなおしてもうまくいかない人や、WordPress以外の手段でサイトを運営している方はこちらを確認しましょう。

robots.txtは以下の要素から成り立っています。

特に、Disallowの後に特定のページの場所、もしくは「/」(サイト全体を表す)が入っている場合は、そのページ(サイト全体)を検索エンジンに巡回させない設定になっているので、設定を変えましょう。

設定を変更しても、すぐに変更が反映される訳ではありません。

エラーが解消されるまで3日以上かかることもあります。

不安な気持ちは分かりますが、3日〜7日は待ちましょう。

「URLがrobots.txtによってブロックされています。」とうエラーに関しては、サイト創設期に設定したことが影響しているかもしれません。

この記事で紹介した2つの解決方法を試して、エラーを解消しましょう！