Безвременная кончина директивы Host в Яндексе
Изменения в поисковом функционале Яндекса продолжают демонстрировать стабильную тенденцию на урезание – ничего нового уже давно не добавляется, а вот многое из старого планомерно перестает поддерживаться. В марте текущего года очередной жертвой этого процесса стала директива Host для файла robots.txt.
12 марта 2018 года Яндекс в своем блоге для вебмастеров анонсировал скорое прекращение поддержки директивы Host, а уже 20 марта констатировал сей факт, сопроводив его новыми подробными инструкциями по переезду с помощью 301-го редиректа.
Директива Host как рекомендация для робота-зеркальщика о выборе главного зеркала была введена еще в начале прошлого десятилетия, если не ошибаюсь, в Рамблере, и со временем стала поддерживаться другими российскими поисковиками. На данный момент она содержится в документации поисковой системы Mail.Ru. Google эту директиву никогда не поддерживал.
Яндекс долгое время использовал эту директиву как рекомендацию для указания главного зеркала наряду с серверным редиректом. В 2011-м году для случаев выбора предпочтительного домена для индексирования из вариантов с www или без www, в сервисе Яндекс.Вебмастер появился инструмент «Главное зеркало», для которого был заявлено, что «такой способ выбора главного зеркала имеет больший приоритет, чем директива Host, но меньший, чем редирект (301, 302)».
Удивительно, но не смотря на заявленное главенство приоритета серверного редиректа перед остальными способами указания главного зеркала, сотрудники Яндекса никогда не рекомендовали его применять. Дело в том, что при использовании редиректа в Яндексе типичной ситуацией было выпадение редиректящего сайта из индекса до того момента, пока проиндексируется сайт, на который указывает редирект. И даже если сайт, являющийся целью редиректа, уже был проиндексирован, то все равно процесс выпадения редиректящего сайта происходил быстрее, чем его подклейка в качестве второстепенного зеркала к цели редиректа. В итоге характеристики, влияющие на позиции, а, следовательно, и поисковый трафик, переходили от второстепенного к главному зеркалу далеко не сразу, процесс мог затянуться на месяцы. Поэтому намного более надежным способом переклейки главного зеркала была директива Host, т.к. сайт, указанный как второстепенное зеркало, находился в индексе непосредственно до момента переклейки.
Одну из проблемных ситуаций, в которой необходимо было поменять главное и второстепенное зеркало местами, так описывал в своей инструкции по деликатному переезду с http на https собирательный образ сотрудников службы поддержки Яндекса Платон Щукин: «Процесс в целом ничем не отличается от склейки, только в этом случае я особенно не рекомендую использовать редирект для переезда: получится, что главное зеркало недоступно из-за редиректа, а цель редиректа - это неглавное зеркало и в поиск попасть не сможет. В результате в поиск страницы не смогут попасть совсем. В такой ситуации устанавливайте директиву "Host: https://site.ru", используйте "Переезд сайта", адрес в поиске будет изменён в течение нескольких недель».
Сейчас этот совет Платона Щукина перечеркнут с пометкой о том, что он устарел, и сотрудники Яндекса, отменив поддержку директивы Host, утверждают, что переклейка сайта с помощью постранично настроенного 301-го редиректа будет занимать всего несколько дней. Однако это будет возможно только в том случае, если в связке с 301-м редиректом будет использоваться инструмент «Переезд сайта», подразумевающий наличие подтвержденных прав на оба сайта.
Инструмент «Переезд сайта» можно использовать для склейки зеркал и без настройки редиректа, однако в таком случае оперативность не гарантируется и срок склейки может затянуться на несколько недель. Стоит заметить, в этом случае, как и раньше в случае директивы Host, второстепенное зеркало будет гарантированно находится в индексе, и поэтому этот способ могут выбрать наиболее осторожные владельцы сайтов, готовые пожертвовать временем ради минимизации рисков потери трафика, пусть и кратковременной. Тем более, что в комментариях к новости Яндекса об отмене поддержки директивы Host уже встречаются совсем свежие печальные истории потери трафика при переезде с помощью 301-го редиректа:
В случае же, когда нет возможности подтвердить права на оба сайта, придется пользоваться только 301-м редиректом без поддержки инструментом «Переезд сайта». Сотрудник Яндекса Елена Першина утверждает, что склейка должна произойти, но отсутствия проблем не гарантирует:
Склейка сайтов без использования инструмента «Переезд сайта» также весьма актуальна для тех случаев, когда переезд сайта осуществляется с целью ухода из-под наложенных на него санкций поисковика. Так как инструмент «Переезд сайта» требует наличия подтверждения прав владельца на оба сайта, то не надо быть семи пядей во лбу, чтобы понимать, что в случае наличия такой информации у Яндекса, санкции очень быстро переедут со старого на новый сайт. Если же у поисковика достоверной информации о связи между владельцами склеиваемых сайтов нет, то ему следует исключить возможность попытки нанесения целенаправленного вреда конкуренту путем подклейки к его сайту своего скомпрометированного сайта в качестве второстепенного зеркала с целью переноса санкций. Здесь поисковику придется оценивать вероятность наличия реальной связи между владельцами сайтов на основе косвенных признаков, каковыми, например, могут являться идентичность структуры и контента сайтов до переезда.
Кстати, в свете изменений в процедуре переезда сайтов в Яндексе интересен также и вопрос возможных изменений степени полноты переноса характеристик сайта на новый домен. Ведь до сих пор при склейке зеркал с второстепенного зеркала на главное переносились явно не все характеристики. Например, нельзя было предать возраст сайта, что было сделано для предотвращения манипуляций с «состариванием» сайтов с помощью подклейки к ним возрастных «дропов».
В любом случае, отказ от директивы Host в пользу 301-го редиректа является еще одним шагом Яндекса в процессе унификации своего функционала с функционалом Google, для которого 301-й редирект изначально являлся основной процедурой для указания главного зеркала при склейке сайтов. Напомню, что в прошлом году Яндекс расстался с частью операторов языка запросов, не имевших аналогов в Google, что я отмечал в своей статье «Кастрация языка запросов Яндекса». Вполне возможно, что в скором времени следует ожидать от Яндекса очередных шагов по прекращению поддержки других элементов своего функционала, не имеющих аналогов в Google. К наиболее известным из них можно отнести тег noindex, а также директивы файла robots.txt Clean-param и Crawl-Delay.
0 Comments