Об оптимизации краулингового бюджета
Буржуйский сеошник по имени Оуэн Хенн делится лайфхаком, как закрыть страницы от индексирования Google и при этом не расходовать краулинговый бюджет.
Запрет в файле robots.txt запрещает сканирование, но не индексацию, и многих напрягает предупреждение в Google Search Console "Проиндексировано, несмотря на блокировку в файле robots.txt" (хотя это и не является ошибкой).
Мета-тег robots со значением noindex запрещает индексацию, но не запрещает сканирование, тем самым расходуя краулинговый бюджет.
Лайфхак следующий: со страниц, для которых нужно исключить попадание в индекс, ставится редирект на специальную страницу, которая содержит мета-тег robots со значением noindex.
В итоге сканируется только одна эта страница, а страницы с редиректами выпадают из индекса и не сканируются.
Выглядит весьма любопытно.
0 Comments