robots.txt によりブロックされましたが、インデックスに登録しました。

SEO

サーチコンソール上でrobots.txt によりブロックされましたが、インデックスに登録しました。
というエラーが出ている場合があります。

robots.txtに記載しても、インデックスされるケースがあります。
そもそものrobots.txtの効果を知っていない可能性があります。

Google は常に robots.txt の内容に従いますが、他のユーザーがページにリンクしている場合、必ずしもインデックス登録が回避されるわけではありません)。Google では、検索結果からページをブロックしてもよいか判断できません。

https://support.google.com/webmasters/answer/7440203#indexed_though_blocked_by_robots_txtより引用

他のユーザーがページにリンクしている場合、必ずしもインデックス登録が回避されるわけではありません

という部分が特に、間違いやすいですね。

 

本当に、検索結果に載せないようにするには、2つしかないです。

1.パスワードをかける
2. noindexタグを利用する

が必要です。1番が確実です。

ちなみに、robots.txtはクロールの補助的な役割を果たします。

なので、robots.txtを設置したからといって、必ずしもSEO的な効果があるわけではないですが、
大規模なサイト程、最適化することをオススメします。

最新情報をチェックしよう!
>

毎週、本の著者や塾や法人の方向けなど、何か尖ったサービスを持っている方向けにホームページやブログ等を使って、いかにアクセスを増やし、売上をあげていくのかというお手伝いをしています。

CTR IMG