URLがrobots.txtによってブロックされています。|サーチコンソールのエラーを解決!

Webサイトを作って、Googleサーチコンソールにサイトマップを送信したら、

「URLがrobots.txtによってブロックされています。」

というメッセージが出てきた。

この記事では、そんなあなたが「URLがrobots.txtによってブロックされています。」というエラーを理解・解決するお手伝いをいたします。

最後まで読んで、エラーを解決しましょう!



「URLがrobots.txtによってブロックされています。」と表示される原因

「URLがrobots.txtによってブロックされています。」というエラーは、Googleサーチコンソールにサイトマップを送信した後に出るエラーです。

このエラーメッセージを1つ1つ噛み砕いていきましょう。

robots.txtとは?

robots.txtとは、サイト内の任意のページに対して、検索エンジンが巡回しないように指示することができるテキストファイルのことです。

robots.txtの記述を変更することにより、ページはインターネット上に存在するが検索はされないようにすることができます。

サイトマップとは?

サイトマップとは、「サイト内のページの構造を分かりやすく示した地図のようなもの」です。

サイトマップをサーチコンソールに登録することで、検索エンジンがあなたのサイトを巡回する(クロール)時に迷わず適切に処理ができるようになります。

「URLがrobots.txtによってブロックされています。」というエラーメッセージはこのサイトマップを送信した後に起きたのですから、検索エンジンがサイトマップをもとにあなたのサイトを巡回する際に問題が起きたのだと考えられます。

「URLがrobots.txtによってブロックされています。」の意味

以上より、「URLがrobots.txtによってブロックされています。」というエラーメッセージは、

  1. あなたが検索エンジンにサイトを巡回するように頼んだ(サイトマップの送信)のにも関わらず、
  2. 検索エンジンに巡回されないような設定(robots.txtの記述)を行なっているので、
  3. 正常に巡回できなかった

ということを意味します。

「robots.txtなんて設定した覚えない…」というあなた!

実は、知らないうちにrobots.txtを設定しているかもしれません。

次節以降では、具体的な解決方法を解説します。

解決策1: WordPressの設定を確認する

Webサイト運営にWordPressをお使いの方は、まずこの解決方法をお試しください。

WordPressには、「検索エンジンがサイトをインデックスしないようにする」設定があります。

まず、WordPressの管理画面左サイドメニュー[設定]>[表示設定]を開きます。

表示された画面から、「検索エンジンがサイトをインデックスしないようにする」を探しましょう。

Webサイトの創設直後に、「コンテンツや記事がまだ十分ではないから検索されないようにする」といった意図でチェックしていることが多いです。

この項目にチェックが付いている場合は、チェックを外しましょう。

解決策2: robots.txtの設定を確認する

Googleサーチコンソールのrobots.txtテスターツールを使用すると、robots.txtの中身を直接覗くことができます

WordPressで「検索エンジンがサイトをインデックスしないようにする」と設定した場合も、このファイルの記述が変更されます。

WordPressの設定画面から設定しなおしてもうまくいかない人や、WordPress以外の手段でサイトを運営している方はこちらを確認しましょう。

robots.txtの記述内容

robots.txtは以下の要素から成り立っています。

命令 意味
User-agent 検索エンジンを指定する
Disallow 巡回(クロール)を許可しないページを指定する
Allow 巡回(クロール)を許可するページを指定する
Sitemap サイトマップの場所を指定する

特に、Disallowの後に特定のページの場所、もしくは「/」(サイト全体を表す)が入っている場合は、そのページ(サイト全体)を検索エンジンに巡回させない設定になっているので、設定を変えましょう。

WordPressの設定・robots.txtの変更後は数日待つ

設定を変更しても、すぐに変更が反映される訳ではありません。

エラーが解消されるまで3日以上かかることもあります。

不安な気持ちは分かりますが、3日〜7日は待ちましょう。

まとめ: WordPressの設定とrobots.txtを確認して、「URLがrobots.txtによってブロックされています。」を解決!

「URLがrobots.txtによってブロックされています。」とうエラーに関しては、サイト創設期に設定したことが影響しているかもしれません。

この記事で紹介した2つの解決方法を試して、エラーを解消しましょう!

参考:
Search Console (サーチコンソール)の登録・使い方完全マニュアル
サーチコンソールからサイトマップを送信する方法【サイトマップ作成・登録方法伝授】
GRCの使い方|基本的な機能・分析方法・料金プランを解説









この記事をかいた人

Yuuu

Webマーケッター。 統計学やAIにも興味があり、 Python/Octaveを用いたデータサイエンスを学んだり、 G検定に合格したりしている。