Google объявил о прекращении с 8 января 2024 года работы инструмента ограничения скорости сканирования в Search Console. Заявленная причина — инструмент устарел и очень редко использовался. Теперь самый быстрый способ снизить скорость сканирования — дать указание роботу Googlebot посредством ответов сервера.
Наглядный пример того, что если вы хотите запретить страницу к индексации с помощью меты robots со значением noindex, то не следует это дублировать запретом на сканирование в файле robots.txt.
Гуглоид Дэнни Салливан:
"У страницы есть noindex, но мы этого не видим, потому что robots.txt блокирует нам ее чтение".
Гуглоиду Дэннии Салливану задали вопрос: "Используется ли непроиндексированный контент для оценки сайтов"? Насколько я понимаю, речь идет о просканированном, но запрещенном к индексации контенте (например, метатегом robots со значением noindex).
"Если мы не можем индексировать контент, нет, мы не можем его рассматривать".
А вот Яндекс вполне себе позволяет использовать запрещенный к индексации контент, например, в антиспаме.
Google объявил о завершении перехода на Mobile First Indexing.
Десктопный краулер признан устаревшим, и объем сканирования им будет максимально сокращаться.
По факту имеем, что десктопная версия сайта для Google уже не имеет практически никакого значения.
Оказывается, анонсированное вице-президентом Google Дэниэль Ромейн управление через краулер Google-Extended индексацией контента, используемого в системах искусственного интеллекта, не работает для SGE.
Буржуйский сеошник Гленн Гейб забдил, что запрещенный таким образом контент, используется в ответах SGE. Да еще и через Барри Шварца получил обескураживающий ответ от гулоидов. Оказывается, запрещение для Google-Extended через файл robots.txt вовсе не мешает SGE отображать ваш контент в ответе: "Вместо этого вам необходимо заблокировать SGE, полностью заблокировав Googlebot"
А вице-президентша-то не в курсе. 😁
Оказывается, не все в курсе, что в содержимом директив файла robots.txt учитывается регистр букв.
"Робот учитывает регистр в написании подстрок (имя или путь до файла, имя робота) и не учитывает регистр в названиях директив."
"Правила в файле robots.txt указываются с учетом регистра."
Будьте внимательны.
Что произойдет, если вы укажете в HTTP-заголовке ответа сервера для страницы X-Robots-Tag: noindex, но при этом разместите в ее коде метатег
<meta name="robots" content="INDEX,FOLLOW"/> ? Какая директива сильнее?
Ответ: так как значения INDEX и FOLLOW - это значения по умолчанию, то краулер будет следовать директиве X-Robots-Tag: noindex
Гуглоид Гэри Ийеш решил заострить внимание публики на следующем моменте:
"Напомню, что если вы добавите для определенного пути одновременно и правило Disallow в файл robots.txt, и правило noindex для всех файлов этого пути, то сработает только Disallow, т.к. сканировать эти файлы запрещено."
Действительно, неоднократно встречался с подобным, когда люди (в общем-то неглупые) недоумевают, почему Google не выкидывает из индекса URL, ведь они к Disallow добавили еще и мету robots со значением noindex. Да потому, что краулер этот noindex не сможет увидеть, так как вы сами ему запретили это.