Новый отчет проверки файла robots.txt в Google Search Console

В Google Search Console появился новый отчет проверки файла robots.txt. Он показывает ошибки (например, отсутствие файла) и предупреждения (например, наличие в файле не учитываемых краулером Google строк). 

Печально, что существовавший до этого инструмент тестирования файла robots.txt прекратил работу. То есть теперь нет возможности проверить закрыт или открыт для индексации в данный момент произвольный URL. 

Share this