пятница, 25 декабря 2020 г.

SEO-итоги 2020 года: крутить-не перекрутить

 

Последняя пятница года – традиционное время вспомнить основные события, повлиявшие на рынок отечественной SEO-индустрии в уходящем году.

Непростой во всех отношениях 2020-й год в отечественной SEO-индустрии прошел под «пиратским флагом» накрутки поведенческих факторов в Яндексе.  Крутить стали много, крутить стали массово, крутить стали почти все. Если в начале года в профессиональных сообществах и соцсетях частенько мелькали «крики души» различных специалистов о том, что крутить им, ох как не хочется, но белыми методами уже практически не получается достойно противостоять накручивающим конкурентам, то к концу года риторика сменилась. Те самые специалисты стали публиковать успешные кейсы со скриншотами динамики позиций, демонстрирующие головокружительные прыжки из ниоткуда в топ. А дружеские подколки френдов типа «Чем крутишь?» остаются без ответов в стиле благородного гнева «Кто – я? Да никогда!». Что красноречиво свидетельствует о том, что призрачный морально-этический рубикон уже пройден и накрутка поведенческих факторов в Яндексе стала практически отраслевым стандартом. А наиболее ушлые представители отрасли даже организовали курсы по обучению накрутке. Неся, как говорится, «разумное, доброе и вечное» в массы.

А что же Яндекс? В сентябре месяце он сделал попытку хоть как-то взять под контроль сложившуюся ситуацию. Попытку, на мой взгляд, робкую и малоэффективную. Некоторое количество сайтов получили так называемые «письма счастья» – уведомление в сервисе Яндекс.Вебмастер о санкциях за использование имитации действий пользователей поисковой системы. Не сказать, что санкции были немасштабными – в некоторых тематиках (самый характерный пример – тематика услуг по продвижению сайтов) топы обновились начисто. 

Но, во-первых, Яндекс почему-то отказался от привычно сопутствующих массовым поркам «программных» заявлений в духе «надо делать хорошо и не надо плохо», т.е не закрепил свою атаку психологическим эффектом. А, во-вторых, накрутчиков подобные санкции не очень-то испугали. Скорость вывода сайтов в топ позволяет им успешно применять «принцип таракана» – размножаться быстрее, чем тебя уничтожают. И вот новые сайты довольно скоро занимают места выпавших из топа «бойцов».

В общем, индустрия накрутки ПФ довольно быстро оправилась от удара и продолжает цвести буйным цветом. А Яндекс меж тем продолжает делать вид, что все под контролем. В ноябре 2020 года на конференции YAC 2020 было заявлено о самом большом изменении в поиске Яндекса за последние 10 лет, заложившем фундамент на следующие годы – технологии YATI, представляющей из себя мощную нейросеть для анализа текстов. Судя по описанию новой технологии, Яндекс продолжает углубляться в поиски смысла между запросом и документом, начатые в алгоритме «Палех» и продолженные в алгоритмах «Королев» и «Андромеда». Все это, конечно, чрезвычайно интересно для длинного хвоста микрочастотных запросов, таких как запросы с неочевидными опечатками, омонимическими сущностями и прочими лингвистическими прелестями, многие из которых задаются вообще один раз в жизни. Но в очередной раз практически не затрагивает традиционную сферу сеошных интересов – коммерческие высоко- и среднечастотные запросы. Ну, а здесь создатели яндексовских алгоритмов-трансформеров, живущие в парадигме «Без учета кликов построить конкурентную поисковую систему сейчас невозможно», оказываются легко одурачены – чем больше накликаешь, тем выше окажешься. Не смотря на все утверждения яндексоидов о наличии отдельных алгоритмов и подсистем для фильтрации клик-фрода, реальность демонстрирует, что накрутка успешно их обходит.

Впрочем, по части запросов даже наклик уже может не помочь попасть на первый экран поисковой выдачи – все больше мест по коммерческим и околокоммерческим запросам отдается в топе органики внутренним сервисам Яндекса и принадлежащим ему проектам. И это еще одна не слишком позитивная для SEO-специалистов тенденция уходящего года.

Что же касается Google, то уходящий год продемонстрировал отчетливый курс на усиление роли принципа E-A-T («Expertise, Authoritativeness, and Trustworthiness» / «Экспертность, Авторитетность и Надежность») в выдаче по запросам, относящимся к тематикам, попадающим по действие принципа YMYL («Your Money or Your Life» / «Кошелёк или жизнь»).  Два масштабных апдейта алгоритма Google May 2020 Core Update и December 2020 Core Update основательно перетряхнули выдачу в таких характерных для YMYL тематиках как здоровье, путешествия, право, финансы, недвижимость и т.п. Сайтам, не позаботившимся о соответствии принципам E-A-T, все сложнее получать органический трафик из Google. 

Также заметным событием стало появление в мае 2020 года в инструменте Google Search Console новых отчетов, относящихся к метрике «Page Expierense» («Удобство страницы»). При этом было объявлено, что в будущем эти сигналы начнут учитываться в алгоритме ранжирования. В ноябре обозначились точные сроки – сигналы, отражающие удобство страницы, будут учитываться при определении рейтинга страниц с мая 2021 г. У вебмастеров и SEO-специалистов осталось совсем немного времени, чтоб вывести свои сайты в «зеленую зону» отчетов.

В общем, Google демонстрирует устойчивый вектор на следующие приоритеты в ранжировании – авторитетность, экспертиза, надежность и удобство пользования. Значит, все-таки можно строить конкурентную современную поисковую систему не на одних только кликах? 

С наступающим!



вторник, 10 ноября 2020 г.

Принцип Google E-A-T – с чем его едят?

 


Немногим более года назад я писал о очередном обновлении Руководства Google для асессоров, которое характеризовалось значительным расширением объема информации, касающейся ресурсов тематик, попадающих по действие принципа YMYL («Your Money or Your Life» / «Кошелёк или жизнь») и повышенным требованиям к качеству контента для таких документов, характеризующимися принципом E-A-T («Expertise, Authoritativeness, and Trustworthiness» / «Экспертность, Авторитетность и Надежность»).

Тогда я высказал предположение, что требования к качеству контента «жизненноважных» тематик будут неуклонно расти, и тех, кто не удосужится позаботиться о соответствии своего контента принципам E-A-T, могут ожидать неприятные сюрпризы. Прошедший год подтвердил мои предположения.

Каждое значительное обновление алгоритма Google (Core update) оставляло без хороших позиций и соответственно, без значительной доли поискового трафика, определенное количество сайтов тематик YMYL.

Итак, что же следует предпринять тем, кто попал в подобную неприятную ситуацию?

Прежде всего надо понимать, что принцип E-A-T относится как непосредственно к автору контента, в частности, так и к сайту, публикующему контент этого автора, в целом. Google прямо говорит об этом в одном из материалов своего блога для вебмастеров: «Does the content present information in a way that makes you want to trust it, such as clear sourcing, evidence of the expertise involved, background about the author or the site that publishes it, such as through links to an author page or a site’s About page?» («Представляет ли контент информацию таким образом, чтобы вы хотели ей доверять, например, через надежные источники информации, доказательства экспертизы, квалификацию автора или сайта, который его публикует, например, через ссылки на страницу автора или страницу сайта «О нас»?)

Итак, во-первых, качественный с точки зрения соответствия запросам, имеющим информационный интент (information-seeking (Know) intent), контент должен иметь автора, автор – свой персональный профиль на сайте. И информация в его профиле должна подтверждать экспертизу автора в соответствующей тематике. К примеру, в пункте 6.1 Руководства Google для асессоров приводится следующий признак низкокачественного контента: «The creator of the MC does not have adequate expertise in the topic of the MC, e.g. a tax form instruction video made by someone with no clear expertise in tax preparation» («Автор основного контента не имеет адекватной экспертизы по теме основного контента, например, видеоинструкция по заполнению налоговой формы сделана лицом, не имеющим четких знаний в декларировании налогов»).

А в том, что Руководство Google для асессоров – это не просто абстрактная служебная инструкция, а по сути свод основных принципов ранжирования, уже не приходится сомневаться. Да и слова вице-президента Google Бена Гомеса (Ben Gomes) весьма красноречивы: «You can view the raters’ guidelines as where we want the search algorithm to go. They don’t tell you how the algorithm is ranking results, but they fundamentally show what the algorithm should do» («Вы можете рассматривать рекомендации для асессоров как направление, в котором мы хотим чтобы двигался алгоритм поиска. Они не говорят вам, как алгоритм ранжирует результаты, но они показывают, что алгоритм должен делать.»)

Вроде бы с требованиями к авторам контента все понятно и прозрачно. Тем не менее многие контентные сайты, публикующие материалы по тематикам YMYL, попросту пренебрегают подтверждением экспертизы авторов. Зачастую авторы не имеют даже своего профиля на сайте и выглядят как практически обезличенные персоны с плохо разборчивой аватаркой, а то и вовсе без неё – просто имя-фамилия и хорошо еще, если при этом указана профессия или, род занятий. 

А между тем Руководство Google для асессоров даже рекомендует им искать в сети информацию об авторе контента, чтобы оценить его репутацию и экспертизу.

Кстати, не лишними на сайте будут соответствующим образом оформленные профили сторонних экспертов, которые привлекаются в качестве интервьюируемых или в качестве комментаторов утверждений, высказанных автором.

То же самое касается и репутации и экспертизы сайта в целом. Еще один пример некачественного контента из уже упомянутого пункта 6.1 Руководства Google для асессоров гласит: «The website is not an authoritative source for the topic of the page, e.g. tax information on a cooking website» («Вебсайт не является авторитетным источником по теме страницы, например, налоговая информация на кулинарном сайте»).

Так что, если Вы хотите, чтоб контент вашего сайта вызывал доверие как у асессоров, так и у алгоритма Google, вам придется постараться обозначить экспертизу создателей сайта в тех областях, к которым относится его контент. Укажите в разделе о сайте всё, что могло бы эту экспертизу подтвердить – историю проекта, награды и достижения, цитаты положительных отзывов из авторитетных источников, редакционную политику, профили редакторов, отвечающих за то или иное направление с максимально возможной информацией об их экспертизе в данной области. В общем всё, что может свидетельствовать о том, что контенту, размещенному на вашем сайте, можно доверять. Что у низкокачественного и сомнительного материала ничтожно мало шансов появиться у вас на сайте. 

Казалось бы, тоже весьма очевидные вещи, которыми, тем не менее, многие сайты пренебрегают, ограничиваясь стандартной страничкой «О проекте» с указанием контактных данных. 

Не помешает также озаботиться положительными отзывами о своем сайте на авторитетных ресурсах. Руководство Google для асессоров, так же, как и в случае с авторами контента, рекомендует асессорам искать отзывы о сайте или компании, которую он представляет, отдавая предпочтение надежным источникам, таким как Википедия или известные новостные сайты.

В общем, пора уже обрести чёткое понимание того, что у контента с неподтвержденной экспертизой и репутацией шансы на хорошее ранжирование в Google с каждым днем будут всё увереннее стремиться к нулю. 



понедельник, 5 октября 2020 г.

Поведенческие факторы в Яндексе – империя наносит ответный удар

В начале 2020-года я писал о весьма плачевном состоянии ситуации с накруткой поведенческих факторов в Яндексе. И высказал предположение, что «если сотрудники Яндекса в ближайшее время не смогут справиться с ситуацией, то, боюсь, SEO-индустрия рискует окончательно свалиться в яму обмана и читерства».

Всё это время накрутка поведенческих в Яндексе продолжала цвести буйным цветом. Многие SEO-специалисты, уже не стесняясь, декларировали её в списке своих методов продвижения, и даже появились курсы по обучению накрутке в Яндексе с обладавшим доселе вполне благообразной личиной спикером. В общем, дело встало на поток.

И вот, как говорится, «не прошло и полгода». Вернее, чуть больше. В середине сентября многие вебмастера обнаружили в разделе нарушений сервиса Яндекс.Вебмастер неприятный сюрприз – уведомление, слово в слово повторяющее уже многими порядком позабытое «письмо счастья» от Платона Щукина образца конца 2014-го года:


Весьма показателен пример культового для сеошников запроса продвижение сайтов в московской выдаче Яндекса. Если верить данным сервиса Megaindex, то из сайтов, занимавших месяц назад топ-10, к 20 сентября в нем осталась буквально пара сайтов:

Причем, большинство бывших завсегдатаев первой страницы выдачи вылетело практически в никуда. 

Не исключено, что подобные вылеты могут быть обусловлены не санкциями, а просто тщательной фильтрацией накрученного трафика. Ведь появление многих сайтов в топе подобных высококонкурентных тематик связано именно с целенаправленной накруткой поведенческих факторов, и если ее результаты обнулить, то таким сайтам просто будет нечем «цепляться» за топ.  Однако массовое появление официальных уведомлений о нарушениях свидетельствует о том, что Яндекс решил-таки подключить и психологическое давление на накрутчиков.

Причем, именно наложение санкций, а не просто фильтрация искусственных поведенческих сигналов, свидетельствует о том, что Яндекс обладает определенной степенью уверенности в том, что «грязный» траффик был результатом целенаправленных действий владельцев сайта. Это довольно тонкий момент, так как, во-первых, все чаще начинают раздаваться голоса о том, что теперь можно легко выбить конкурента из топа, заказав для него как можно более «топорную» накрутку, а во-вторых, что сайты могут безвинно пострадать в результате так называемой «прокачки профилей», когда боты, предназначенные для последующей накрутки ПФ, сначала пытаются имитировать действия обычных пользователей, кликая по результатам поиска без определенно заданной цели по накрутке определенного сайта. 

Голоса эти сопровождаются утверждениями о том, что сайты, которые якобы ни сном, ни духом и не помышляли о накрутке, вдруг теряют десятки, а то и сотни позиций. Между тем, мой многолетний опыт работы в SEO-индустрии свидетельствует о том, что, как правило, дыма без огня не бывает. Довольно распространена ситуация, когда владельцы сайтов умалчивают от текущего подрядчика или аудитора о том, что они пользовались неблаговидными методами продвижения, а подрядчик, веря им на слово, кипит благородным гневом, заявляя о санкциях за действия третьих сил. Так же не исключена ситуация, когда подрядчик использует неблагоприятные методы продвижения без согласования с владельцем сайта, а когда клюет жареных петух, пытается сохранить хорошую мину при плохой игре, сваливая свои ошибки на мифических недоброжелателей.
Но, в любом случае, вероятность ошибки второго рода (то есть принятие неверной гипотезы о связи владельца или продвиженца сайта с «грязным» трафиком) исключать нельзя. Надеюсь, что сотрудники Яндекса делают все возможное, чтоб ее минимизировать или вовремя исправить. 

Недавно я столкнулся с весьма любопытным случаем, когда аудируемый сайт получил катастрофический вылет по большинству запросов из обозримого топа за пределы сотни поисковой выдачи. В общем, имела место достаточно тяжелая пессимизация, характерная для очень грубых нарушений, к которым относится и накрутка ПФ. При этом в сервисе Яндекс.Вебмастере уведомления об ограничениях отсутствовали. Заказчик утверждал, что ничем предосудительным не занимался, и у меня не было оснований ему не доверять. Переписка со службой поддержки Яндекса («платонами») имела любопытный характер. Они не признали ни наличие, ни отсутствие санкций, что само по себе достаточно нетипично, и пообещали запросить информацию у технических специалистов. В результате через две недели молчания «платонов», позиции сайта вернулись на прежний уровень, а в ответ на просьбу прокомментировать ситуацию, они ответили, что на данный момент ранжирование сайта осуществляется без каких-либо ограничений. При этом они не могут сказать, какие ограничения были до этого, так как после успешной перепроверки информация о действовавших ограничениях якобы не сохраняется. Подтвердив, кстати, факт, что наложенные на сайт ограничения не всегда могут отображаться в Яндекс.Вебмастере. 

В общем, мне очень хотелось бы надеяться, что сотрудники Яндекса действительно адекватно реагируют на сигналы о возможности ложного срабатывания алгоритмов антиспама. Владелец сайта потерял пару недель поискового трафика, но, считаю, отделался малой кровью.

Резюмируя, хотелось бы подчеркнуть, что налицо явное стремление сотрудников Яндекса взять под контроль ситуацию с массовыми накрутками поведенческих факторов. Что, в свою очередь, несомненно, не может не внушать определенный оптимизм, особенно после очень продолжительного застоя. И очень хотелось бы надеяться, что стремление это будет сопровождаться максимально адекватными действиями.


пятница, 28 августа 2020 г.

Возможности управления быстрыми ссылками в сниппетах в Яндексе и Google

«Быстрые ссылки» (Яндекс) и «Ссылки сайта» (Google) – это расширение стандартного сниппета в виде списка ссылок на другие страницы сайта, автоматически формируемое поисковыми системами в определенных условиях для страниц сайта, которые сочтены наиболее важными. Так как реализация в обоих поисковиках чрезвычайна схожа, то я буду называть оба варианта (и яндексовский, и гугловский) быстрыми ссылками.


Яндекс

В Яндексе есть два формата быстрых ссылок.

Строки – могут показываться в сниппете для первых трех мест поисковой выдачи.


Описания – показываются только для первого места поисковой выдачи в случае, когда Яндекс считает, что страница является наиболее релевантным ответом на поисковый запрос. Судя по всему, эта ситуация возникает, когда рассчитанное значение релевантности запросу для данной страницы значительно превосходит это значение для ближайшего конкурента (например, для витальных ответов).




Google

В Google наблюдается аналогичная Яндексу ситуация. Быстрые ссылки представлены как в виде строки (могут показываться в сниппетах нескольких первых результатов поиска):

Так и в виде расширенных описаний (в сниппете первого места выдачи):

В первую очередь владельцев сайта и SEO-специалистов интересуют, конечно же, возможности управления быстрыми ссылками для своего сайта. Несмотря на то, что формирование быстрых ссылок происходит автоматически, некоторые варианты управления ими все-таки существуют. 


Включение определенной страницы в список быстрых ссылок

Прямая возможность отсутствует как в Яндексе, так и в Google. Можно попытаться воздействовать косвенно путем включения ссылки на требуемую страницу в основное меню сайта, таким образом, чтобы на неё в идеале ссылалась каждая страница сайта, включая главную. Результат, увы, не гарантирован, но повысить вероятность включения страницы в список быстрых ссылок таким образом все-таки возможно.


Исключение определенной страницы из списка быстрых ссылок

В Яндексе существует прямая возможность. В разделе Информация о сайте > Быстрые ссылки сервиса Яндекс.Вебмастер можно деактивировать показ любой сформированной Яндексом быстрой ссылки, нажав на иконку в виде глаза слева от неё. Можно также вообще отключить показ всех сформированных Яндексом быстрых ссылок, сняв галочку с чекбокса «Показывать в результатах поиска»:


Учесть внесенные таким образом изменения Яндекс обещает в своей справке в течение двух недель.

Google никаких специальных возможностей хоть какого-либо управления быстрыми ссылками не предоставляет. Исключить определенную страницу из списка быстрых ссылок гарантированно можно радикальным способом – удалив ее из результатов поиска путем запрета к индексации. Что, естественно, не всегда целесообразно, т.к. чревато потерей поискового трафика для данной страницы. Можно попробовать более мягкий способ, убрав ссылки на страницу с главной и других важных страниц сайта. Однако, это опять-таки может привести к снижению поискового трафика на данную страницу, да и результат не гарантирован.


Изменение текста быстрой ссылки для определенной страницы.

В Яндексе есть хоть частичная, но все-таки прямая возможность. В упомянутом выше разделе сервиса Яндекс.Вебмастер можно выбрать для быстрой ссылки текст из предложенных вариантов, раскрыв меню справа от текста ссылки. Но, увы, альтернативные варианты предлагаются не всегда:

В Google же вообще нет никаких прямых возможностей управления текстом быстрых ссылок. В любом случае как в Яндексе, так и в Google остается косвенная возможность (то есть без гарантии, но с повышением вероятности нужного результата) управления путем внесения нужного текста в теги title и h1 соответствующей страницы, а также в тексты внутренних ссылок, ведущих на неё (в том числе и в содержимое атрибута alt, если ссылки ведут с изображений). 


Управление порядком вывода быстрых ссылок в сниппете

В Яндексе прямая возможность есть в вышеупомянутом разделе сервиса Яндекс.Вебмастер в довольно ограниченном виде – можно выбрать порядок вывода либо «по весу», либо в алфавитном порядке по URL страниц. В произвольном порядке расставить ссылки нельзя. Однако алфавитный порядок предоставляет нам косвенную возможность – можно изменить URL выбранных Яндексом для показа быстрых ссылок страниц таким образом, чтобы по алфавиту они выстроились в требуемом порядке. Со старых URL на новые при этом необходимо будет сделать редирект с откликом 301, что необходимо для корректной склейки с передачей от старого URL новому всех своих поисковых характеристик. Однако, при этом нельзя исключать вероятность того, что при изменении URL страницы она может быть исключена из списка быстрых ссылок.

В Google же как прямые, так и косвенные возможности управления порядком вывода быстрых ссылок в сниппете, к сожалению, отсутствуют.



пятница, 31 июля 2020 г.

Реквием универсальному способу проверки аффилированности двух сайтов в Яндексе

В своей предыдущей статье «Аффилирование в Яндексе – мимикрия или амнистия?», посвященной анализу ранее работавших универсальных методов определения аффилированности двух сайтов в Яндексе, я сделал два предположения – либо изменился принцип ранжирования аффилированных сайтов («мимикрия»), либо все известные мне пары некогда аффилированных сайтов перестали быть аффилированными («амнистия»). Я попросил читателей поделиться известными им парами некогда аффилированных сайтов, а также сам стал исследовать поисковую выдачу на предмет поиска таковых. 
Хочу сказать огромное спасибо всем откликнувшимся на мою просьбу, ваши примеры реально помогли мне сделать вывод о том, какое из двух предположений верно.
Оказалось, что верно предположение о «мимикрии», т.е. изменился принцип ранжирования аффилированных сайтов. Если раньше аффилированные сайты группировались в одну группу, из которой в выдаче показывался только один наиболее релевантный документ, то теперь такой группировки аффилированных сайтов нет. Однако в выдаче, сгруппированной по сайтам, документы с тех из них, которые являются менее релевантными запросу, чем их аффилиат, получают некий дисконт (пост-штраф) к рассчитанному значению релевантности. 
Продемонстрирую это на примере. Во время анализа поисковой выдачи на предмет поиска аффилиатов в поле моего зрения попали сайт Столичного Института Экономики и Финансов https://www.rhll.ru/ и сайт учебного центра при этом же институте https://www.moscow-kursy.ru/. На обоих сайтах предлагаются различные курсы, например, бухгалтерские. 
Я сформировал следующий запрос, по которому первый сайт показывается на третьем месте, а второго нет в топ-50:
Эта выдача по умолчанию сгруппирована по сайтам. Я решил ее разгруппировать. Для этого я воспользовался недокументированным get-параметром &pag=u, который я упоминал с одной из своих статей «Параметры URL страницы выдачи Яндекса». Несмотря на то, что этот параметр уже давно по сути является артефактом, он, тем не менее, прекрасно работает. В принципе, разгруппировывать выдачу по сайтам можно и другими способами, добавляя в запрос документные операторы таким образом, чтоб они не искажали выдачу, но данный способ мне нравится больше всего, т.к. при его использовании исходный запрос остается неизменным. Так вот, в разгруппированной выдаче второй сайт появляется где-то в районе топ-20:
И это ведь выдача не по сайтам, а по документам, то есть в сгруппированной выдаче он должен был быть еще ближе к топу, т.к. в разгруппированной выше него попадается по нескольку документов с одного сайта. Напрашивается вывод, что в сгруппированной выдаче что-то ему мешает занять это место в топе. Я попробовал исключить из выдачи первый исследуемый сайт (не прибегая к документным операторам, ниже объясню почему). И, вуаля, второй сайт занял седьмое место на первой странице выдачи:
Таким образом мы определили, что мешал ему занять это место именно теперь исчезнувший из выдачи первый сайт.
Теперь поясню, почему я для исключения из выдачи второго сайта не пользовался документными операторами. Во-первых, исключать сайты из выдачи, используя документные операторы можно только с помощью уже недокументированного оператора отрицания ~~. А во-вторых, теперь связка оператора отрицания с документным оператором разгруппирует выдачу (чего не было ранее), что не позволит нам корректно определить аффилиат:
Так что для исключения из выдачи первого аффилиата следует использовать оператор отрицания без документного оператора, исключая, например, ключевое слово из его доменного имени или какое-нибудь слово, содержащееся на всех его страницах, но не содержащееся на страницах второго аффилиата (если таковое имеется).
Итак, получается, что в данном примере величина дисконта оказалась достаточной, чтоб отправить второй аффилиат за пределы топ-50 выдачи, но далеко не всегда это так.  Например, по другому запросу оба сайта находятся на первой странице выдачи – первый на первом месте, второй – на пятом:
 
Но исключение первого сайта ожидаемо подбрасывает второй на первое место:
То есть в данном случае величины дисконта не хватило, чтоб выдавить второй аффилиат даже из топ-5.
В общем, приходится констатировать факт, что аффилированность никуда не делась, просто все прежние универсальные способы определения аффилированности двух сайтов, основанные на принципе исчезновения одного из них при сужении выдачи на малое количество сайтов (в идеале – на два исследуемых сайта), оказываются теперь абсолютно неработоспособными. Но, как показывают мои примеры, аффилированность двух сайтов все-таки возможно определить, только придется делать это вручную, каждый раз подбирая запросы, подходящие для того, чтоб зафиксировать перемещение второго аффилиата в выдаче при исключении из нее первого. Универсальность же, являющаяся залогом возможности автоматизации, увы, пока недоступна.
И в заключении хочется заметить, что теперь аффилированность можно в прямом смысле этого слова называть фильтром, в то время как раньше это была все-таки группировка.


среда, 3 июня 2020 г.

Аффилирование в Яндексе – мимикрия или амнистия?

Задача определения аффилирования двух сайтов в Яндексе всегда была одной из важнейших в SEO-аналитике. До недавнего времени было несколько рабочих способов ее решения, в основе которых лежал один основополагающий принцип: необходимо было определенным образом сформировать поисковую выдачу, чтоб можно было убедится в следующем.
Если в поисковой выдаче находятся документы с обоих проверяемых на аффилированность сайтов, и при этом имеет место группировка выдачи по сайтам, то эти сайты не аффилированны.
Если же при отсутствии группировки по сайтам в выдаче присутствуют документы с обоих сайтов, а при наличии группировки – только с одного, то проверяемые сайты аффилированы.
Этот принцип накладывает существенные ограничения на выбор способа определения аффилированности двух сайтов.
Нам нужно максимально сузить не сгруппированную по сайтам выдачу так, чтоб в ней присутствовали документы с обоих сайтов. А потом суметь ее сгруппировать, чтоб проверить, сохраняется ли в ней присутствие документов с обоих сайтов, либо один из них исчезает. Либо продемонстрировать в сгруппированной по сайтам поисковой выдаче наличие документов с обоих. 
В разное время я опубликовал три способа определения аффилированности сайтов в выдаче Яндекса, основанные на этом принципе.
Первый способ был самый простой и изящный. Выдача сужалась до самого минимума – двух документов (по одному с каждого сайта) с помощью оператора url:. Но у этого оператора, равно как и у большинства документных операторов текущего официального довольно скудного языка запросов Яндекса (а именно, site:, host: и rhost:, исключение составляет только оператор domain:, но об этом чуть позже), есть одно свойство – они разгруппируют выдачу по доменам. Поэтому после сужения построенную выдачу необходимо было сгруппировать по доменам, чтоб проверить наличие аффилированности. И это делалось довольно простым, но интересным способом – добавлением к запросу любого документного оператора (как правило, использовались операторы url: или site:) с произвольным значением (естественно, отличным от значений операторов url:, использовавшихся в базовом запросе) после оператора отрицания ~~. Эта связка оператора отрицания и документного оператора вызывала обратный эффект применению документного оператора – она группировала выдачу.
Но, к сожалению, после периодических кастраций языка запросов Яндекса оператор отрицания ~~ потерял статус документированного, хоть и продолжал корректно работать во многих случаях. Но самое неприятное, что несколько месяцев назад исчез чудесный эффект обратной группировки по сайтам, присущий его связке с документными операторами. Минус один способ, увы.
Второй способ базировался на использовании для сужения выдачи точных цитат со страниц проверяемых на аффилированных сайтов. Но со временем логика языка запросов Яндекса сильно изменилась, и теперь он не желает корректно применять оператор | («логическое ИЛИ») к точным фразам (заключенным в оператор «кавычки»).  Итоге в поисковой выдаче по запросам, сформированным путем применения оператора | к точным фразам получается сущая белиберда, не связанная с логикой запроса. Минус два способа, увы и ах.
В запасе остался третий способ, основанный на единственном документированном документом (прошу прощения за невольный каламбур) операторе domain:, который в отличие от остальных документных операторов не разгруппировывает выдачу по сайтам. Но и он некоторое время назад начал выкидывать фортели. 
Дело в том, что из достаточно большого известных мне пар аффилированных доменов (и не только пар, но и троек, четверок и т.д.) проверка с использованием этого способа вдруг перестала показывать их аффилированность. Для примера возьмем пару сайтов, использовавшихся мной в качестве примера аффилированных в последней статье об этом методе. Сейчас они прекрасно чувствуют себя на одной странице в выдаче, сформированной с использованием оператора domain:
То есть с точки зрения озвученного мною выше принципа определения аффилиатов, не считаются аффилированными. Более того, есть и четвертый метод, о которым я еще не писал. Он основывался на использовании для сужения выдачи некогда ставшим недокументированным операторе inurl:, который подобно оператору domain: не разгруппировывает поисковую выдачу.  Так вот, он тоже сейчас пасует на всех известных мне случаях аффилированных пар сайтов, в том числе и на вышеупомянутой:
Вместо с тем, как мои практические наблюдения, так и мнения других SEO-специалистов, высказываемые в приватных профессиональных беседах, говорят за то, что сам по себе аффилиат-фильтр никуда не делся.  Но очень похоже на то, что он мимикрировал, сменив свою природу с жесткой группировки аффилированных сайтов в поисковой выдаче на нечто иное, например, некий дисконт (пост-штраф) к значению релевантности для страниц одного из аффилиатов, который сочтен алгоритмом ранжирования менее релевантным, чем другой. Если это действительно так, то на возможности адекватной проверки двух сайтов на аффилированность, к моему большому сожалению, можно поставить крест. Но всё-таки хочется и не исключать вероятность какой-то иной причины наблюдаемого эффекта, например, чем черт не шутит, масштабной амнистии аффилиатов, под которую попали все известные мне пары. Поэтому я буду очень признателен, если читатели пришлют мне на e-mail ludkiewicz@ya.ru свои примеры некогда аффилированных пар сайтов для пополнения моей тестовой выборки.

понедельник, 25 мая 2020 г.

Определяем быстроботовскую примесь в Яндексе

В своей недавней статье «Очистка органической выдачи Яндекса от примесей» я упоминал о таком виде примеси как Свежие результаты, в среде SEO-специалистов носящей название «быстроботовской» примеси.

Идентификация относится ли конкретный документ в выдаче Яндекса к быстроботовской примеси, бывает очень полезна при решении аналитических задач. Дело в том, что документы, индексируемые быстроботом и попадающие в выдачу в течение короткого времени, ранжируются иначе, чем документы из основного индекса, и поэтому выдачу от них необходимо очищать при анализе основного алгоритма.
Тогда я рекомендовал идентифицировать быстроботовскую примесь по наличию специальных меток свежести документа («N минут назад», «N часов назад», «вчера», «позавчера» или просто дата не старше 3-4-х дней). Но похоже, подобная метка не является необходимым признаком документа, проиндексированного быстроботом.
Поясню на примере. Так, например, на момент написания статьи в индексе Яндекса присутствует следующий документ без специальной метки свежести в сниппете:
 
Однако, если мы заглянем в сохраненную копию, то увидим, что документ был проиндексирован через 3 минуты после его появления на сайте (судя по индикации времени, прошедшего с момента публикации пользователем этого материала):
Так быстро после их появления документы могут с большой вероятностью попасть в индекс через быстроботовскую примесь. Однако, как уже было сказано выше, метка свежести, характерная для этой примеси, в сниппете данного документа отсутствует. 
Изучая поведение документов из быстроботовской примеси, я заметил одну интересную особенность. В отличие от документов из основного индекса, быстроботовские документы показываются в выдаче по запросу, состоящему из связки текстового запроса и документного оператора даже в том случае, когда документ нерелевантен текстовому запросу из этой связки.
Например, возьмем текстовый запрос в виде абракадабры, выдача по которому пуста:
 
И добавим к этому текстовому запросу документный оператор url: с адресом рассматриваемого документа в качестве значения. Вопреки логике этот документ показывается в выдаче:
Причем, расширив выдачу на весь сайт с помощью документного оператора site:, мы увидим, что в выдаче в подавляющем большинстве находятся документы с быстроботовской меткой в сниппете. 
А в сохраненных копиях тех, у кого эта метка отсутствует, наблюдаются признаки того, что документ проиндексирован быстроботом.
Таким образом, можно с определенной долей уверенности утверждать, что подобным способом мы можем проверять документ без быстроботовской метки в сниппете на предмет того, проиндексирован ли он быстроботом. Как правило, это срабатывает на документах трех-четырехдневной давности. Настоятельно рекомендую делать перепроверку с использованием нескольких достаточно сильно отличающихся друг от друга вариантов абракадабр. Дело в том, что некоторые абракадабры Яндекс интерпретирует как опечатки и пытается подобрать варианты замены, не предупреждая об этом пользователя, и в этом случае можно получить ложноположительные срабатывания метода. 
Интересно, что добавление к текстовому запросу в рассматриваемой связке операторов группы «Морфология и поисковый контекст» +плюс» – поиск документов, в которых обязательно присутствует выделенное слово) или ""кавычки» – поиск по цитате), чудесный эффект быстроботовской примеси пропадает:


Воспользуемся этим фактом, чтобы убедиться в том, что сохраненная копия для документа, который рассматривался в первом примере, совпадает с той, что находится в индексе (ведь может быть иначе, о чем я писал в своей статье «Сохраненные копии страниц – это не то, что находится в индексе»). Не мешало бы это проверить, ведь именно по сохраненной копии страницы мы делали предположение о быстроботном характере ее индексации. По точной фразе их сохраненной копии о времени публикации сообщения рассматриваемая страница находится:
А, значит, в индексе действительно та копия, которая показывается как сохраненная. Кстати, для документов из быстроботной примеси я еще не встречал примеров рассинхронизации сохраненной и проиндексированной копий.


Blog Archive

Технологии Blogger.