よくわからなくなったので、参考になるサイトをメモ。
noindexタグが記述されていても、ロボットによるクローリングは実行され,アクセスをブロックするわけではない。つまり、検索結果に出ないだけ。
参考URL：https://seolaboratory.jp/36599/
- index, follow：普通。インデックスされるしクローラーも入ってくる。
- noindex, follow：クローラーは入ってくるがインデックスはされない。つまりGoogleは認識するがSEARPSには出ない。
- index, nofollow：これはなんだ？クローラーが入ってこないけど、インデックスされることはあるのか？
- noindex, nofollow：クローラーも入ってこないしインデックスもされない。ユーザーにだけ見せるページなど。
たぶん↑こういうことだと思う。