О запрете индексации

Наглядный пример того, что если вы хотите запретить страницу к индексации с помощью меты robots со значением noindex, то не следует это дублировать запретом на сканирование в файле robots.txt.

Гуглоид Дэнни Салливан:

"У страницы есть noindex, но мы этого не видим, потому что robots.txt блокирует нам ее чтение".

Share this