サーチコンソール上でrobots.txt によりブロックされましたが、インデックスに登録しました。
というエラーが出ている場合があります。
robots.txtに記載しても、インデックスされるケースがあります。
そもそものrobots.txtの効果を知っていない可能性があります。
Google は常に robots.txt の内容に従いますが、他のユーザーがページにリンクしている場合、必ずしもインデックス登録が回避されるわけではありません）。Google では、検索結果からページをブロックしてもよいか判断できません。
https://support.google.com/webmasters/answer/7440203#indexed_though_blocked_by_robots_txtより引用
他のユーザーがページにリンクしている場合、必ずしもインデックス登録が回避されるわけではありません
という部分が特に、間違いやすいですね。
本当に、検索結果に載せないようにするには、2つしかないです。
1.パスワードをかける
2. noindexタグを利用する
が必要です。1番が確実です。
ちなみに、robots.txtはクロールの補助的な役割を果たします。
なので、robots.txtを設置したからといって、必ずしもSEO的な効果があるわけではないですが、
大規模なサイト程、最適化することをオススメします。
