robot.txtに記述しても、indexされてしまうことがある?サーチコンソールエラー

tips

サーチコンソールのエラーにて、

サイト http://◯◯◯.com/ で「カバレッジ」の問題が新たに検出されました。

と通知が来ました。

 

robots.txt によりブロックされましたが、インデックスに登録しました。

 

よくよく調べていくと、robots.txtでブロックしているにも関わらず、インデックスに登録されてしまうことがあるようです。

 

クローラをブロックしているページでも他のサイトからリンクされていればインデックス登録が可能

Google では、robots.txt でブロックされているコンテンツをクロールしたりインデックスに登録したりすることはありませんが、ブロック対象の URL がウェブ上の他の場所からリンクされている場合、その URL を検出してインデックスに登録する可能性はあります。そのため、該当の URL アドレスや、場合によってはその他の公開情報(該当ページへのリンクのアンカー テキストなど)が、Google の検索結果に表示されることもあります。

https://support.google.com/webmasters/answer/6062608?hl=ja#robotted-but-indexed%E2%80%B3より引用

確実に検索に引っかからないようにするには

・パスワードを保護する

・noindexメタタグまたはレスポンス ヘッダーを使用する

・削除する

などがあります。

 

どうしても、特定の人にしか見せないのであれば、パスワードで保護するのが一番でしょう。

また、稀に起こってしまう事なので、URLを手っ取り早く変えてしまうということもありでしょう。

 

また、そこまで、重要なページでなければ静観するのも一つ手です。労力のほうがコストが高くなる可能性もあります。

 

時と場合によって、判断していくのが良いでしょう。

コメント