С сегодняшнего дня технологией Яндекс XML можно пользоваться только через новый сервис Yandex Search API.
Неожиданный бонус - в ночное время будет доступен free tier (нетарифицированное использование) в 1000 запросов в месяц.
Интересный момент из выступления Михаила Сливинского на круглом столе конференции Optimization'23. Алгоритмы фильтрации ботов в поиске и Метрике разные. Поэтому ориентироваться на Метрику, чтоб понять, сколько ботов отфильтровано в учёте поведенческих, нельзя. В поиске все сильно жёстче.
Любопытная статистика от сервиса Statcounter: в сентябре Яндекс отожрал у Google больше процента доли на европейском рынке и вышел на второе место, опередив Bing.
Доля Яндекса увеличилась с 2,28% до 3,46%, а доля Google уменьшилась с 92,26% до 90,87%. Доли Bing, Yahoo! и DuckDuckGo при этом изменились незначительно.
В блоге Яндекса для вебмастеров опубликована статья, в которой объясняется, за что может прилететь фильтр за малополезный контент.
Основная причина - заимствование контента, как прямой плагиат, в том числе с попыткой выдать себя за первоисточник, указав более раннюю дату публикации, так и компиляция из разных источников.
Также в качестве причины указываются различные варианты некачественных текстов, в том числе и "материалы, которые не содержат экспертизы по теме и написаны на основе информации из интернета", т.е. по сути классический рерайт. Кстати, под это определение попадет и рерайт с помощью искусственного интеллекта.
В общем, получается, что любые классические сеошные тексты - прямые кандидаты под фильтр.
Яндекс раскрыл формулу ранжирования!
Правда, только в поисковой машине Яндекс Маркета:
"То, насколько высоко будет предложение в результатах поиска, складывается из нескольких факторов:
на 27,5% влияет релевантность — описание товара должно соответствовать запросу пользователя;
на 25,5% — персональные предпочтения пользователя, основанные на предыдущих покупках и поисковых запросах;
на 18% — цена товара: чем она ближе к минимальной на рынке, тем лучше;
на 17% — популярность товара среди покупателей: как часто этот товар заказывают, добавляют в корзину и в избранное, открывают и просматривают карточку товара;
на 12% — рейтинг товара, срок доставки и рейтинг магазина."
Однако, факторы, для которых указана развесовка, сами по себе являются комплексными, состоящими, в свою очередь, из множества более мелких факторов. Так что указанные цифры мало помогут полностью "вскрыть" алгоритм. Так, чисто любопытства ради.
В Блоге Яндекса для вебмастеров появился анонс новых возможностей отчета "Мониторинг запросов" – добавлены сортировка и фильтр по спросу, а также а еще уточнены значения N/A и 0 в отчетах, чтоб было понятно, то ли пользователи не могут найти вас в выдаче по конкретному запросу, то ли статистика по нему просто не отображается в инструменте.
Такая активность яндексоидов определенно радует.
Яндекс активно развивает поиск по товарам (помним: нужно больше золота!) – в Блоге Яндекса для вебмастеров появилось сообщение о том, что информацию об условиях доставки теперь можно добавить прямо в интерфейсе сервиса Яндекс Вебмастер.
Эх, эту бы активность – да на борьбу с накрутчиками ПФ в органике.
В блоге Яндекса для вебмастеров опубликован пост об обновлении алгоритма определения вторконтента, явившегося причиной массового наложения фильтра за малополезный контент и спам в этом месяце, о чем я уже писал ранее.
Перечислены варианты использования заимствованного контента, не попадающие под санкции:
"авторских (предоставленные производителем, создателем, организатором) описаний товаров, услуг, событий, организаций, компьютерных программ, инструкций к применению и руководств по эксплуатации;
текстов литературных и фольклорных произведений, песен, анекдотов, цитат и афоризмов;
текстов законов, указов и других нормативных актов, стандартов, шаблонов документов;
своего текста из других источников (блогов, социальных сетей), пресс-релизов, опубликованных в других источниках;
и в других случаях, когда в результате пользователи получают дополнительную ценность. "
Последний пункт про дополнительную ценность определенно радует своей конкретикой 😊
Тут до меня дошла информация, что некоторая часть сеошной общественности, пострадавшая в результате последних санкций Яндекса за малополезный контент, несколько болезненно восприняла мой пост об этом, увидев в нем якобы некое злорадство и пляску на костях.
Так вот, спешу расставить все точки над "i" - никаким злорадством и плясками тут и не пахнет.
Моя мысль заключалась в том, что если устанавливаешь правила игры, то, будь добр, блюди за их соблюдением. И наказывай нарушителей и поощряй соблюдающих. Иначе соблюдающие будут находиться изначально в проигрышном положении.
Например, секрет Полишинеля, что в конкурентные топы выдачи Яндекса сейчас практически невозможно попасть, не накручивая поведенческие. И наивно предполагать, что яндексоиды этого не видят. Однако, они почему-то либо не могут, либо не хотят заставить сеошников соблюдать установленные ими самими же правила.
Поэтому любое адекватное телодвижение "арбитра" воспринимается позитивно. В надежде, что таких телодвижений будет все больше, и правила не останутся всего лишь прописанными на бумаге.
Начало августа ознаменовалось очередным витком борьбы с поисковым спамом в Яндексе – масса владельцев сайтов, сделанных для заработка на рекламе, получили штрафы за малополезный контент.
Масштаб бедствия характеризует тот факт, что на стагнирующем Серче тема об этом выросла до довольно приличных размеров.
Очень хотелось бы, чтоб яндексоиды на этом не останавливались, как у них часто бывает, и наконец-то решили и другие проблемы поискового спама. И в первую очередь, конечно же, проблему накрутки поведенческих факторов.
Редактор Сёрча Оксана Мамчуева опубликовала () текст ответа Яндекса на вопрос по поводу массового наложения фильтра за малополезный контент и спам:
«Яндекс регулярно обновляет собственные алгоритмы, чтобы поддерживать качество поисковой выдачи. Очередное обновление прошло на прошлой неделе. Теперь алгоритмы лучше определяют заимствованный и неоригинальный контент на сайтах. Более подробно об этом можно узнать в Справке».
Получается, накрыли за вторконтент.
В блоге Яндекса для вебмастеров появился анонс API для мониторинга запросов.
Доступны данные для всех запросов, по которым сайт отображался в поиске. Лимит - 150 тысяч запросов в сутки.
Хорошая новость, но на фоне закрытия бесплатного сервиса Яндекс.XML как-то блекнет...
Еще один интересный вопрос с июльских Google SEO Office Hours.
Владелец сайта недоумевает, почему на страницах поисковой выдачи цены с его сайта показываются только в долларах, хотя у него есть и другие валюты.
Гуглоид Джон Мюллер резонно замечает, что на сайте у спрашивающего вывод валюты на ценнике реализован с помощью географического клоакинга, т.е. демонстрации разного содержимого по одному URL пользователям из различных географических зон.
А так как Googlebot сканирует сайты с американских айпишников, то и получает ценники в долларах, как американский пользователь.
При использовании географического клоакинга (собственно, как и любого другого) всегда следует иметь в виду, что краулер получит только один вариант страницы.
Иногда мне во время консультаций задают вопрос, почему в индексе Яндекса находится только версия страницы для Москвы, и нет версий для других городов. Причина та же самая - в этих случаях разные географические версии демонстрируются по одному и тому же URL в зависимости от местонахождения пользователя. Чтобы избежать этого, каждая версия страницы должна иметь свой уникальный URL.
Гуглоид Джон Мюллер - чемпион по развенчанию сеошных мифов. Очередной миф о том, что 302-й редирект для ранжирования чем-то хуже 301-го - был развенчан на днях на форуме Reddit по SEO. Если коротко, то "302 redirects are fine".
Несколькими днями позже, уже в Твиттере, Джон добавил к ним 307-й и 308-й. "Вы не потеряете PageRank", заверил он. Всем последователям секты свидетелей утечки Пейджранка на заметку.
Яндекс на данный момент в своей Справке по обработке редиректов также не упоминает каких-то различий между постоянными и временными редиректами. Более того, в инструкции по переезду сайта на https он рекомендует использовать оба варианта.
Хотя еще несколько лет назад различия в обработке постоянных и временных редиректов в Яндексе существовали. В частности, при настройке временного редиректа целевая страница отображалась в Вебмастере со статусом «не в поиске», а источник — «в поиске». При этом в поисковой выдаче ранжировалась именно целевая страница, а в сниппете сайта показывается URL источника.
Гуглоид Джон Мюллер на днях в очередной раз повторил, что количество слэшей в URL страницы (т.н. "глубина структуры") не имеет значения.
Между тем знаю, что есть сеошники, которые до сих пор считают, что количество "подпапок" в адресе страницы негативно влияет на ранжирование.
Хотя последней на моей памяти поисковой машиной, которая это учитывала, была AltaVista еще в начале нулевых.
Что же касается Яндекса, то в англоязычном докладе "Quality biased Ranking for Queries with Commercial Intent" на конференции WWW 2013 яндексоиды упоминали фактор коммерческого ранжирования "Average depth of the URL path". Однако, принято считать, что здесь подразумевается ссылочная структура, а не число слэшей в URL.
Прочел вчера поучительную историю о том, как один товарищ вынес блог интернет магазина из подпапки /blog/ на поддомен blog.sitename.ru и получил грустные результаты в Яндексе - траффик катастрофически упал.
Почему же так произошло? Дело в том, что Яндекс не поддерживает кроссдоменную склейку страниц. Редиректы даже с одного поддомена на другой внутри одного сайта относятся к межхостовым и не передают внешние факторы ранжирования, если склеивать отдельные страницы или группы страниц на разных хостах (поддоменах или доменах). Склейка в случае межхостовых редиректов происходит не на уровне страниц, а на уровне хостов, т.е. в случае полного переезда сайта.
Встретилась дискуссия по поводу того, является ли символ знака подчеркивания в URL разделителем слов для поисковиков.
В общем-то это дело легко проверяется. Нужен только пример подобного URL, проиндексированный поисковиками.
Первым под руку попался сайт a-ivanov.ru, движок которого формирует URL, содержащие строку "show_post". С помощью оператора inurl проверяем находятся ли эти страницы по ключевику show.
В Яндексе всё прекрасно находится:
А вот в Google - нет:
Находится только по полному ключевику show_post:
Таким образом, видим, что Яндекс считает знак подчеркивания разделителем в URL, а Google - нет. Впрочем, он и не рекомендует его использовать в URL.
Обнаружился баг в инструменте "Проверка ответа сервера" сервиса Яндекс Вебмастер. Если для проверки выбирать по умолчанию Основной робот Яндекса Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots), то проверять приходит не он, а Робот Яндекс Вебмастера Mozilla/5.0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots).
Будьте внимательны, если вы дифференцируете отдачу содержимого страниц своего сайта по User agent.
Кстати, в Google следует принимать во внимание, что в случае проверки страницы на сайте инструментом "Проверка URL" в Google Search Console проверять страницу придет не Googlebot Smartphone или Desktop, а робот Google Inspection Tool.
Варианты полных строк его User agent для мобильных устройств и десктопов можно найти на странице англоязычной версии документации по поисковым роботам Google Search Central (в русскоязычной версии этой информации пока нет):
Mobile
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Google-InspectionTool/1.0)
Desktop
Mozilla/5.0 (compatible; Google-InspectionTool/1.0)
С каждым годом функционал языка запросов Яндекса становится все беднее.
Старый добрый оператор url: тоже стал привирать.
В связке с символом * (Цитата из Яндекс Справки: "Чтобы найти все документы, адреса которых начинаются с заданного значения, поставьте в конце URL символ *") он теперь показывает явно не все, что есть в индексе. Грусть-печаль.
Иногда при просмотре сохраненной копии страницы в поисковиках бывает так, что ссылка на текстовую версию сохраненки оказывается закрыта элементами просматриваемой страницы.
Поэтому бывает полезно помнить get-параметры, добавив которые к URL сохраненной копии, можно получить ее текстовую версию.
Для Яндекса это &mode=text , для Google это &strip=1.
Обнаружил, что Яндекс изменил своё отношение к запрещенным в файле robots.txt страницам.
На странице Яндекс Справки "Использование файла robots.txt" появилось примечание:
"Ограниченные в robots.txt страницы могут участвовать в поиске Яндекса. Чтобы удалить страницы из поиска, укажите директиву noindex в HTML-коде страницы или настройте HTTP-заголовок."
А на странице "Как удалить страницы из поиска" в описании способа удаления "Запрет в файле robots.txt" вместо фразы
"Робот прекращает обращаться к странице в течение суток."
появилась фраза
"Из поисковой базы страница будет удалена в течение недели после того, как робот обнаружит ваши указания. При этом страница может иногда появляться в результатах поиска, например, если на нее ведут ссылки с других ресурсов."
Таким образом Яндекс в данном вопросе перенял позицию Google. Надеюсь, что так же, как и Google, сканировать запрещенные в robots.txt страницы Яндекс все-таки не будет.