О запрете сканирования и индексации страниц в Google
Гуглоид Гэри Ийеш решил заострить внимание публики на следующем моменте:
"Напомню, что если вы добавите для определенного пути одновременно и правило Disallow в файл robots.txt, и правило noindex для всех файлов этого пути, то сработает только Disallow, т.к. сканировать эти файлы запрещено."
Действительно, неоднократно встречался с подобным, когда люди (в общем-то неглупые) недоумевают, почему Google не выкидывает из индекса URL, ведь они к Disallow добавили еще и мету robots со значением noindex. Да потому, что краулер этот noindex не сможет увидеть, так как вы сами ему запретили это.
0 Comments