Показаны сообщения с ярлыком Лайфхаки. Показать все сообщения

среда, 6 сентября 2023 г.

Об оптимизации краулингового бюджета

Буржуйский сеошник по имени Оуэн Хенн делится лайфхаком, как закрыть страницы от индексирования Google и при этом не расходовать краулинговый бюджет.

Запрет в файле robots.txt запрещает сканирование, но не индексацию, и многих напрягает предупреждение в Google Search Console "Проиндексировано, несмотря на блокировку в файле robots.txt" (хотя это и не является ошибкой).

Мета-тег robots со значением noindex запрещает индексацию, но не запрещает сканирование, тем самым расходуя краулинговый бюджет.

Лайфхак следующий: со страниц, для которых нужно исключить попадание в индекс, ставится редирект на специальную страницу, которая содержит мета-тег robots со значением noindex.

В итоге сканируется только одна эта страница, а страницы с редиректами выпадают из индекса и не сканируются.

Выглядит весьма любопытно.


четверг, 8 июня 2023 г.

Консолидация страниц из группы хоста в выдаче Google

 Хинт от гуглоида Гэри Ийеша на июньских SEO office hours. 

Если в поисковой выдаче у вашего сайта показывается два результата (Гэри называет это "host group"), то неплохо будет консолидировать эти две страницы, назначив одну из них канонической для другой, если есть такая возможность.

На мой взгляд, хороший совет по крайней мере по двум причинам:

1) Объединение поисковых сигналов обеих страниц, происходящее при консолидации, может увеличить релевантность страницы, назначенной канонической.

2) Не будет происходить каннибализации кликов по поиске.

Обратная сторона медали - исчезновение из сниппета второй страницы может привести к частичной потере поискового трафика по запросу. С другой стороны, если консолидация страниц из группы хоста позволит улучшить позицию, то эта потеря трафика может с лихвой компенсироваться.


среда, 26 апреля 2023 г.

Отключение персонализации результатов поиска в Google

Чем мне импонирует Google, так тем, что персонализация результатов поиска в нем, в отличие от Яндекса, очень незначительна, и почти не мешает анализировать выдачу, не прибегая к ухищрениям типа режима "Инкогнито" в браузере. 

К тому же персонализацию можно легко отключить.

Сделать это можно двумя способами:

1) В настройках - как это сделать, описано в Google Справке

2) С помощью get-параметра &pws=0, который нужно добавить к URL страницы выдачи.


четверг, 20 апреля 2023 г.

Текстовые версии сохраненных копий


Иногда при просмотре сохраненной копии страницы в поисковиках бывает так, что ссылка на текстовую версию сохраненки оказывается закрыта элементами просматриваемой страницы.

Поэтому бывает полезно помнить get-параметры, добавив которые к URL сохраненной копии, можно получить ее текстовую версию.

Для Яндекса это &mode=text , для Google это &strip=1.


вторник, 24 января 2023 г.

Переезд с HTTP на HTTPS для параноиков

Если Вы все еще опасаетесь переезжать c http на https через 301-й редирект из-за того, что есть вероятность, что http страницы вылетят из индекса раньше, чем они подклеятся к https страницам, то для параноиков у Google есть интересное решение - настроить на http страницах директиву canonical, указывающую на соответствующую https страницу. Тогда переезд обещает быть безболезненным. В Яндексе такой способ не сработает, так как тот не поддерживает кросс-доменные директивы canonical. Но в Яндексе относительно безболезненно можно переехать на https через опцию выбора главного зеркала.

четверг, 2 апреля 2020 г.

Сужение выдачи в Яндексе – лайфхаки

Одной и важных исследовательских задач SEO-аналитики является сужение выдачи на определенную группу документов или сайтов. 
Попробуем задать запрос поиск, ограничив выдачу только двумя документами – главными страницами сайта Яндекса и русскоязычного сайта Google. 
Для сужения поиска на заданные URL воспользуемся документированным оператором url:, относящемуся к группе «Документные операторы», который прекрасно справляется со своей задачей в случае поиска по одному документу:
Однако его применение «в лоб» в случае с двумя документами задачу не решает:
 
В этом случае решить задачу помогает небольшой трюк – добавление между операторами url: документированного оператора | (поиск документов, в которых присутствует любое слово из запроса). Согласно официальной документации этот оператор относится к группе «Морфология и поисковый контекст» и его следует применять к ключевым словам. Однако, как показывает практика, он прекрасно справляется с задачей, будучи примененным и к документным операторам:
   
Убедимся, что оператор | применяется именно к операторам url: т.е. имеет логику 
поиск (url:yandex.ru | url:www.google.ru),
а не делит запрос на две части, имея логику 
(поиск url:yandex.ru) | (url:www.google.ru).
Для этого возьмем запрос, по которому ищется главная страница Яндекса, но не ищется главная страница Google:
 
Если оператор | работает как нам надо, то мы в результатах поиска увидим только один Яндекс, если нет – то оба документа. Убеждаемся, что имеет место первый вариант:
Также все прекрасно работает и в случае с тремя документами:
Проверка на логику работы в случае трех документов также дает ожидаемый результат:

Таким же образом можно организовывать поиск сужением на несколько сайтов, используя вместо оператора url: оператор site:
Также исследовательские задачи SEO-аналитики могут требовать исключение определенных документов или сайтов из поисковой выдачи по запросу. 
Для наглядности возьмем запрос, по которому в поисковой выдаче находится всего три сайта:


В текущем официальном языке запросов Яндекса есть документированный оператор отрицания: («минус»). Однако он работает только со словами и неприменим для документных операторов. В случае применения его с документным оператором, он попросту игнорируется, и вместо удаления документа или сайта из выдачи мы получаем поиск по этому документу или сайту:
К текущему моменту официальный язык запросов Яндекса сжался буквально до нескольких документированных операторов – 8 документных и 6 морфологии и поискового контекста. Хотя ранее Яндекс мог похвастаться весьма обширным языком запросов, позволяющим решать разнообразнейшие поисковые задачи. 
Однако некоторые операторы, бывшие когда-то документированными, а сейчас исчезнувшие из официального списка, продолжают работать и помогать решать задачи, с которыми только лишь с помощью документированных операторов справиться не получается.
И в данном случае нам приходит на помощь бывший некогда документированным оператор отрицания ~~двойная тильда»)
Он прекрасно справляется в поставленной задачей, очищая выдачу как от заданного сайта в связке c оператором site:
Так и от заданного документа в связке с оператором url:
Причем можно исключать из выдачи несколько сайтов или документов, применяя оператор последовательно к каждому:
Либо можно сгруппировать исключаемые сайты иди документы, используя уже упоминавшийся документированный оператор | в связке с еще одним оператором, бывшим некогда документированным, но потом исчезнувшим из языка запросов – оператором группировки ()скобки»):
Без оператора группировки оператор отрицания будет применяться только к одному сайту или документу, т.е. в данном случае автоматической группировки не происходит:
Любопытно, что в других случаях оператор группировки может не работать. Например, нам не удастся с его помощью изменить логику учета операторов в примере, который рассматривался в первом случае. После применения оператора группировки главная страница сайта Google по-прежнему не находится:
Так что применять недокументированный оператор группировки в общем случае следует с осторожностью.

понедельник, 11 февраля 2019 г.

Лайфхак №4.3. Определение геозависимости запроса в Яндексе – поиски универсального метода продолжаются

Вот уже в четвертый раз мне приходится поднимать тему поиска надежного способа определения геозависимости запроса. Ибо с завидной регулярностью действующий вариант метода теряет свою работоспособность.
Напомню, последняя версия метода определения геозависимости базировалась на двух принципах:
  • Принцип первый. Для запросов, не содержащих топоним, соответствующий региону выдачи, этот топоним в сниппетах подсвечивается для геонезависимых запросов и не подсвечивается для геонезависимых запросов. 
  • Принцип второй. Добавление к исходному запросу через документированный оператор | («логическое ИЛИ») какого-либо достаточно редкого термина (т.е. имеющего достаточно большое значение IDF – обратной частоты встречаемости в коллекции документов) никак не влияет изменение геозависимости запроса. 
И если первый принцип продолжает действовать, то второй, к сожалению, уже не соответствует действительности, в чем можно убедиться на следующем примере. Возьмем геозависимый запрос продвижение сайтов, в геозависимости которого легко можно убедиться по подсветке топонима Москва уже на первой странице выдачи для соответствующего региона (lr=213):
Однако добавление к исходному запросу через оператор | («логическое ИЛИ») любого термина, в том числе и очень редкого, меняет геозависимость нового запроса, делая его геонезависимым, что можно определить по исчезновению подсветки топонима:
Таким образом, подобную модификацию исходного запроса уже нельзя использовать для определения его геозависимости, что существенно снижает наши возможности.
Конечно, хорошо, когда топоним, соответствующий региону выдачи, встречается с сниппетах уже на первой странице выдачи (которую можно расширить до 50 результатов в браузерной выдаче и до 100 результатов в Яндекс.XML), как в нашем первом примере. И по наличию или отсутствию его подсветки можно легко определить геозависимость запроса. Но если искомый топоним в сниппетах не встречается на первой странице поисковой выдачи (что весьма характерно для геонезависимых запросов), то без дополнительных запросов не обойтись.
В этом случае было бы хорошо можно быстрее найти документ, релевантный исходному запросу, в заголовке сниппета которого показывался бы топоним, соответствующий региону выдачи. А затем, сузив выдачу по исходному запросу на этот документ, получить гарантированное наличие или отсутствие подстветки искомого топонима, по которой и определить геозависимость исходного запроса. 
Для поиска такого документа я предлагаю модифицировать исходный запрос, добавив в его начало топоним, соответствующий региону выдачи. Причем, для повышения эффективности я рекомендую применить к этому топониму документированный оператор + («плюс»), предназначенный для поиска документов, в которых обязательно присутствует выделенное им слово. Для примера возьмем исходный запрос конхоида никомеда (для которого топоним, соответствующий региону выдачи, не встречается в первой сотне результатов), и модифицируем его предлагаемым способом. Искомый топоним находится в заголовке одного из сниппетов уже на первой странице выдачи:
Теперь сужаем исходный запрос на найденный нами документ (введя его адрес в поле «На сайте» формы расширенного поиска), и наблюдаем отсутствие подсветки топонима в сниппете, что свидетельствует о том, что исходный запрос геонезависим:
Также для сужения можно применить к исходному запросу документированный оператор url: (поиск по страницам, размещенным по заданному адресу), в качестве его значения задав адрес найденного на первом этапе документа.
При поиске подходящего документа нужно иметь в виду, что если исходный запрос состоит из одного слова, то желательно также и к нему применить оператор + («плюс»). Если этого не сделать, то в выдаче может быть довольно много документов, в котором этот термин из исходного запроса не встречается. Это обусловлено тем, что даже одно из слов двухсловного запроса (в данном случае - топоним) может проходить так называемый кворум. Желающих поподробнее разобраться в сути этого явления могу отослать к главе «Фильтрация по кворуму» эпохальной статьи «Яндекс на РОМИП-2004.  Некоторые аспекты полнотекстового поиска и ранжирования в Яндекс»
Таким образом, в выдаче может встречаться много документов, релевантных топониму и не релевантных исходному запросу. А это может сильно затруднить поиск подходящего для дальнейшей проверки документа, который обязательно должен быть релевантен исходному запросу. Кстати, у использовавшегося мною в качестве примера исходного двухсловного запроса конхоида никомеда, первое слово в одиночку проходит кворум, что видно из последнего примера – найденный нами релевантный исходному запросу проверочный документ второе слово исходного запроса (никомеда) не содержит, и запросу, состоящему из него одного, нерелевантен. 

Конечно, предлагаемый способ не так удобен, как потерявший работоспособность предыдущий, но, тем не менее, вполне позволяет решить задачу определения геозависимости запроса, пусть и с большим количество обращений к поиску. И остается только надеяться, что все используемый в нем документированные операторы языка запроса Яндекса будут работать корректно. 

четверг, 1 ноября 2018 г.

Лайфхак №4.2. Снова чиним универсальный способ определения геозависимости в Яндексе

Не прошло и трех месяцев с той поры, как я починил утративший работоспособность универсальный способ определения геозависимости запроса в Яндексе, как мне поступил сигнал, что он опять сломался. Действительно забиваю в Яндекс последнюю версию запроса, и вижу безрадостную картину:
Надо опять чинить. 
Сначала проверяю, работает ли запрос, если не применять поиск по сайту. Оказалось, что работает, и ожидаемо подсвечивает в сниппетах топоним в случае геозависимой правой части запроса:
И не подсвечивает в случае геонезависимой:


Получается, что способ вполне можно применять именно в таком виде. Однако, в общем случае нельзя быть уверенным, что топоним обязательно встретится на первой странице выдачи. Поэтому хотелось бы иметь более надежный вариант. Собственно, именно для этого и сужал выдачу на конкретный сайт с гарантированым наличием топонима в заголовках сниппетов.
Проводя дальнейший анализ, я решаю заменить термин arsenaltula из левой части запроса на arsenal, который гарантированно содержится в доменном имени тестового сайта arsenal-tula.ru. И получаю, что теперь выдача непустая и с нужной нам подсветкой топонима в сниппете для геозависимой правой части:
Однако состоит она теперь сплошь из результатов быстробота. Зато потеря работоспособности прежней конструкции запроса стала более понятна. 
Не знаю, временное это явление или уже постоянное, но, получается, что корректная работа оператора | (логическое ИЛИ) при поиске по сайту осталась только у быстроботовской примеси. А она, в отличие от органической выдачи, похоже, не поддерживает переколдовки запроса arsenaltula, в которую добавляются синонимы arsenal и tula. Поэтому первоначальный запрос и выдавал пустую выдачу, не смотря на наличие на сайте быстроботовского индекса.
Таким образом, надо просто подыскать более подходящий сайт, на который будем сужать выдачу. Он должен с большой вероятностью иметь быстроботовскую примесь, а также вхождение топонима в заголовки страниц. Такой сайт я буквально за несколько минут нашел среди региональных новостных ресурсов, т.к. новостники всегда отличались наличием большого количества быстроботовской примеси. Имеем наличие подсветки топонима в первом же результате для геозависимой правой части запроса:
И отсутствие подсветки топонима для геонезависимой правой части, хоть и не в первом результате, но на первой странице:
Уверен, что потратив немного больше времени, можно найти и другой более удобный сайт-индикатор с гарантированным наличием топонима в первом результате выдачи. Либо, как вариант, сузить выдачу на конкретную папку данного сайта с получением того же гарантированного результата:

В общем, варианты решения задачи пока есть, и, надеюсь, найдутся и в дальнейшем.

пятница, 19 октября 2018 г.

Лайфхак №6. Как посмотреть сохраненную копию страницы в Google, если тот говорит, что она не найдена.

В последнее время многие столкнулись со случаями, когда Gооgle возвращает ответ 404 Not Found на попытку посмотреть сохраненную копию страницы. Как правило, специалисты связывают это с техническим сбоем, возникшим после введения Mobile-first index. Столкнулся и я с этой проблемой на сайте своего блога. Так, пытаюсь посмотреть сохраненной копию главной страницы блога:
И получаю отлуп:
Но, оказывается, что сохраненную копию в этом случае посмотреть таки возможно. Так вот, те, кто парится ее отсутствием, смогут ее лицезреть, сделав небольшие манипуляции с URL страницы сохраненки. На просторах интернета я нашел по крайне мере пару способов. Например, можно изменить знак «плюс» на «минус» перед параметром &cd:
Или же заменить адрес своей страницы на адрес любой другой, например, google.com:
Что подтверждает предположение, что проблема чисто техническая, и не означает применения к странице каких-либо ограничений. Спите спокойно ☺


пятница, 10 августа 2018 г.

Лайфхак №4.1. Универсальный способ определения геозависимости запроса в Яндексе – восстанавливаем утраченную работоспособность

Геозависимость запроса в Яндексе является одним из важнейших параметров в алгоритме ранжирования. И если вы хотите реально понимать, как ранжируются те или иные запросы, какие запросы будет эффективно комбинировать для одной посадочной страницы, а какие – нет, вам необходимо уметь определять их основные параметры, а не слепо полагаться на результаты работы так называемых «кластеризаторов по топу».
Немногим менее года назад я представил рабочий на тот момент универсальный способ определения геозависимости запроса в Яндексе с использованием только документированных операторов языка запросов. Настоятельно рекомендую внимательно перечесть ту статью, чтобы иметь полное представление о логике данного метода. Вкратце же – этот метод базируется на основополагающем принципе – в выдаче Яндекса для геозависимых запросов в сниппетах наблюдается подстветка топонима, соответствующего региону выдачи, а для геонезависимых – нет. Суть метода заключается в построениие выдачи, в которой для любого проверяемого (исходного) запроса мы сможем гарантировано увидеть на первой странице сниппет, содержащий нужный нам топоним, по наличию подсветки которого мы сможем сделать вывод о геозависимости проверяемого запроса.
К сожалению, упомянутый метод не так давно потерял свою работоспособность. Судя по всему, неожиданным образом потерялась логика группировки запроса на две независимые части по разные стороны от оператора | («логическое ИЛИ»). То есть по факту Яндекс этот оператор игнорирует, и выдачи как с ним, так и без него идентичны:
Вообще, с логикой работы даже документированных операторов языка запросов в последнее время в Яндексе творятся очень странные вещи. Но как бы то ни было, постараемся понять, чем грозит методу подобная реакция поиска на запрос? А тем, что метод уже не является универсальным, и может не давать результатов для целого класса запросов, содержащих в себе такие ключевые слова, для которых на сайте, выбранном для сужения запроса, не найдется релевантных документов. Например:
То есть нам необходимо вернуть потерянную группировку двух частей запроса. Удивительно, но в этом нам может помочь уже официально списанный Яндексом в утиль оператора группировки () («круглые скобки»). О прекращении поддержки этого оператора наряду с некоторыми другими было объявлено 31 января 2017 года, вскоре он исчез из официальной документации. Но, тем не менее, на текущий момент частично сохранил свою работоспособность. 
Для начала хочу внести небольшую, но важную поправку к своей предыдущей статье о методе определения геозависимости. Тогда я писал о том, что «изучая свойства геозависимости запросов, я обратил внимание на тот факт, что добавление к исходному запросу через документированный оператор | (логическое ИЛИ) какого-либо достаточно редкого термина (т.е. имеющего достаточно большое значение IDF – обратной частоты встречаемости в коллекции документов)». 
Но, к сожалению, забыл добавить, что для корректной работы метода, этот термин с большим IDF должен быть обязательно геонезависимым. То есть геозависимость запроса, состоящего из двух частей, разделенных оператором | («логическое ИЛИ») есть логическая сумма (дизъюнкция) значений геозависимости этих двух частей, при этом значению 1 («ИСТИНА») соответствуют геозависимые запросы, а значению 0 («ЛОЖЬ») - геонезависимые. И поэтому только в том случае, когда добавочный запрос является геонезависимым, геозависимости исходного запроса и конечного составного запроса совпадают.
Правда, в оправдание своей забывчивости я могу сказать, что в подавляющем своем большинстве запросы с большим IDF являются геонезависимыми, поэтому вероятность при его случайном выборе ошибки была невелика. Собственно, выбранный мною добавочный запрос, состоящий из термина arsenaltula, как раз и является геонезависимым, в чем мы убедимся несколько позже.
Итак, конструируем новый запрос, который бы сохранил логику работы предыдущего. Для начала нам понадобится выбрать другой тестовый сайт, так как у сайта, использовавшегося в примерах предыдущей статьи из заголовков страниц исчез топоним «Тула». По подсветке которого в сниппетах выдачи для соответствующего региона «Тула» (lr=15) и определяется геозависимость запроса. Я просто заменю официальный сайт тульского футбольного клуба «Арсенал» на сайт его болельщиков, доменное имя которого отличается от предыдущего только наличием дефиса, и страницы которого также релевантны выбранному добавочному запросу. И, что немаловажно, содержат в заголовках нужный топоним, отображаемый в сниппетах. Заодно по отсутствию подсветки топонима в сниппетах убедимся в том, что выбранный добавочный запрос действительно геонезависим:
Далее пробуем заключить в скобки обе части запроса из предыдущего метода. И, к моему огромному удивлению, получаем опять пустую выдачу:
Эпик фейл? Недокументированный оператор уже не работает? Но не тут-то было! Получается, что при таком применении – да, действительно не работает. Но неисповедимы пути Яндекса, и стоит нам поменять местами части запроса, как мы чудесным образом получаем нужный нам результат.  По отсутствию подсветки в сниппетах говорящий нам, что базовый запрос геонезависим:
Поистине, текущая логика работы языка запросов Яндекса непредсказуема. Сразу же возникает вопреки всякой элементарной логике шальная гипотеза изыскателя – а вдруг подобная рокировка поможет нам и без недокументированных «скобок»? Но не тут-то было, здесь Яндекс остается на удивление логичным:
В общем, получаем понимание, что пока придется-таки использовать недокументированные «скобки». Напоследок убеждаемся, что для геозависимого исходного запроса, новый метод демонстрирует ожидаемую подсветку в сниппетах:
Что позволяет считать его вполне рабочим. В итоге берем новый метод на вооружение вместо прежнего, искренне надеясь, что коварная и непредсказуемая логика языка запросов Яндекса его в скором времени не испортит. Ну, а если и испортит, так все равно сможет найтись достойная альтернатива.
P.S. Замечено, что к сожалению, иногда в Яндексе глючит оператор | («логическое ИЛИ»), и метод выдает пустую выдачу. Но это не проблема метода, а проблема Яндекса. К счастью, пока довольно редко встречающаяся.

Blog Archive

Технологии Blogger.