SEO-блог Сергея Людкевича

Обнаружил, что Яндекс изменил своё отношение к запрещенным в файле robots.txt страницам.

На странице Яндекс Справки "Использование файла robots.txt" появилось примечание:

"Ограниченные в robots.txt страницы могут участвовать в поиске Яндекса. Чтобы удалить страницы из поиска, укажите директиву noindex в HTML-коде страницы или настройте HTTP-заголовок."

А на странице "Как удалить страницы из поиска" в описании способа удаления "Запрет в файле robots.txt" вместо фразы 

"Робот прекращает обращаться к странице в течение суток."

появилась фраза

"Из поисковой базы страница будет удалена в течение недели после того, как робот обнаружит ваши указания. При этом страница может иногда появляться в результатах поиска, например, если на нее ведут ссылки с других ресурсов."

Таким образом Яндекс в данном вопросе перенял позицию Google. Надеюсь, что так же, как и Google, сканировать запрещенные в robots.txt страницы Яндекс все-таки не будет.

Столкнулся на днях в одном сеошном чате с утверждением, что вес внутренней ссылки зависит от ее расположения на странице - якобы ссылки из основного контента весомее ссылок из футера. 

Ну, я еще понимаю, когда подобные мысли возникают насчет внешних ссылок - типа подвальные блоки с большей вероятностью являются продажными, поэтому ссылки могут фильтровать только за сам факт наличия в подвале (что на самом деле весьма и весьма сомнительно).

Но вот подобные идеи насчет внутренних - считаю, мягко говоря, некомпететными и не имеющими под собой никаких оснований. Ну, и старина Джон Мюллер подтверждает: 

“We don’t really differentiate there.

So if like, things are linked in your footer of the page and they’re linked from across the whole website then from our point of view you have those links from across your whole website.

It’s not the case that we would say, Oh, like links in a footer have less weight or are not as useful we will ignore them or anything like that.

So from that point of view, when it comes to links we essentially just see them as links on a page.”

Рекомендации Google и Яндекса в этом вопросе существенно разнятся.

И если Google позволяет просто напрямую сопоставить старые и новые URL и настроить 301-й редирект (другие виды редиректов не рекомендуются), то Яндекс требует двойной редирект:

"Установите на сервере редирект с HTTP-кодами 301 или 302. Перенаправление должно вести со страниц старого сайта на аналогичные страницы нового — который должен участвовать в поиске.

Если у сайта изменились доменное имя и названия каталогов, то нужно установить двойной редирект. Например, адрес страницы http://сайт.рф/стр/ изменился на http://example.ru/page/. Тогда перенаправление должно работать следующим образом:

http://сайт.рф/стр/ -> http://example.ru/стр/ -> http://example.ru/page/ "

Получается, что для того, чтобы корректно переехать в обоих поисковиках, надо использовать схему Яндекса с двойным 301-м редиректом. 

Google хоть и не рекомендует использовать цепочки редиректов, но допускает их, если количество переходов сведено к минимуму.

 Важная вещь, о которой часто забывают.

Значимость внутренней страницы сайта для поисковой системы во многом определяется двумя факторами: 

1) Количеством входящих ссылок.

2) Длиной самой короткой цепочкой ссылок от главной страницы (чем короче, тем лучше).

Не допускайте, чтобы большое количество страниц сайта находилось очень далеко от главной.

Не допускайте, чтобы большое количество страниц сайта имело минимум внутренних ссылок. Страницы-сироты без внутренних ссылок или кластеры таких страниц, на которые нельзя попасть по ссылкам с других страниц, не входящих в кластер - это вообще табу.

Совершенствуйте рубрикаторы, делайте более плотную перекрестную перелинковку. 

Если не можете цепочку кликов до определенных страниц уменьшить, а количество входящих ссылок на них - увеличить, то крепко подумайте, нужны ли эти страницы в индексе.

Страница, на которую ссылается только одна 100500-ая страница пагинации - не нужна никому, ни поисковикам, ни пользователям. Большое количество таких страниц на сайте говорит о том, что и сам сайт никому не нужен )

Даже если адепты модного "силосования" пытаются вас убедить в обратном.

Всякий раз, когда натыкаюсь на подобное, хочется сказать "И эти люди запрещают нам ковыряться в носу?" 

А как же незабвенное "Мы стараемся не индексировать или не ранжировать высоко: ... Страницы с результатами поиска по сайту или результатами отбора товаров, услуг, других объектов по условиям, если они мало информативны и мало полезны для пользователей."? 

И ведь таких результатов собственного поиска в собственном индексе - миллионы.