Как работает Google: фильтры, санкции, алгоритмы

У поисковых систем свои требования к сайтам. И если какой-то ресурс им не отвечает, в дело вступают фильтры и санкции. Это инструменты, созданные для контроля поисковой выдачи — чтобы в неё попадали только те сайты, которые релевантны запросам пользователя и не используют нечестные методы продвижения.

О фильтрах и санкциях

В русскоязычной среде оптимизаторов существуют понятия «алгоритмические фильтры» и «ручный санкции». Если позиции ресурса вдруг просели, но при этом никакие изменения не вносились, причин этому может быть 3:

1. Ресурс был проверен сотрудником ПС и ограничения наложены вручную — это санкции.
2. Алгоритмы поисковика обнаружили нарушение, и сайт оказался под фильтрами.
3. Google выкатил обновления, в результате которых сайт частично потерял свои позиции. При этом ресурс ничего не нарушал, просто конкуренты оказались в чём-то лучше.

Обновления часто приводят к изменениям в выдаче, так как влияют на работу алгоритмов. Если дело в изменении работы алгоритма, владелец сайта сможет узнать об этом только по вторичным признакам. Никаких оповещений Google не присылает. Однако вполне возможно, что через определённое время всё вернётся на круги своя, и сайт займёт прежние позиции.

А вот если ресурс нарушил правила, и алгоритм это заметил, то наложение фильтра неизбежно. Для Google использование нечестных методов продвижения является нарушением, поэтому такие сайты караются по всей строгости — вплоть до полного исключения из индекса.

Со временем одни фильтры вошли в основной алгоритм и даже получили собственные названия, а другие перестали существовать из-за появления более совершенных аналогов. Например, «Панда», «Пингвин» уже давно стали частью основного поискового алгоритма и даже могут быть применены одновременно. Для отслеживания положения сайта используются Google Analytics и Search Console. Именно в Search Console отображаются сообщения о наложении ограничений.

Если на сайт были наложены алгоритмические фильтры, обратиться за разъяснениями в поддержку не получится. Единственный способ решить проблему —  разобраться с тем, что могло привести к пессимизации, и дождаться повторного сканирования.

Песочница — миф или реальность?

Ещё много лет назад в среде оптимизатором ходило мнение, что у Google есть так называемая «Песочница» — фильтр, который, по неподтверждённым данным, использовался в отношении молодых сайтов и не позволял им занимать высокие строчки в выдаче. Считалось, что после создания сайт какое-то время находился в «Песочнице», а только потом попадал в индекс.

Но представители Google неоднократно опровергали это, заявляя, что никаких подобных фильтров к сайтам не применяется. Однако, по мнению некоторых оптимизаторов, что-то со схожим эффектом всё же влияет на молодые сайты. Но связано это не с возрастом домена непосредственно, а с тем, что ресурс ещё недостаточно авторитетен, чтобы получать хорошие позиции.

Пингвин

«Пингвин» работает с 2012 года, был разработан для борьбы с некачественными ссылками. Последнее обновление фильтра состоялось в 2016 году, а затем он стал частью основного алгоритма. После этого «Пингвин» перестал наказывать ресурсы за спамные ссылки, вместо этого он просто обесценивает их и никак не учитывает в ссылочной массе сайта.

«Пингвин» ищет нарушения на странице и применяется фильтр тоже в отношении страницы, а не всего сайта. Если вы не прикладывали руку к спамным линкам (например, постарались конкуренты), у Google есть инструмент отклонения ссылок. С его помощью можно отклонить все мусорные входящие линки, ведущие на ваш ресурс. О наложении фильтра Google обычно не уведомляет. Однако если сайт регулярно занимается нечестным продвижением, то к нему могут применить более жёсткие ручные санкции. В этом случает в Google Search Console придёт сообщение.

Если вы начали терять позиции, велика вероятность наложения фильтра. Как его снять:

1. Проверить, есть ли в Search Console сообщение о ручном наложении фильтра. Если есть, нужно оставить запрос на пересмотр, там же надо уточнить, где именно выявлены нарушения и что надо сделать, чтобы ограничения сняли.
2. В ответном письме сотрудники поисковой системы пришлют примеры линков, которые считают спамными. Удалите их, если линки арендованные, если нет — воспользуйтесь инструментом отклонения ссылок.
3. Дождитесь повторного сканирования. Обычно для этого требуется неделя, но лучше перестраховаться и подождать две.
4. Составьте ещё один запрос на пересмотр. В нём укажите, что было сделано, какие ссылки удалены и спросите, какие ещё действия требуются, чтобы снять наложенные ограничения.
5. Заявка рассматривается до одного месяца. В случае положительного решения ничего делать не нужно. Если пришёл отказ — потребуется повторить все ранее выполненные действия и снова почистить ссылки.

Панда

«Панда» относится к алгоритму, который оценивает качество контента сайта. Фильтр анализирует сигналы на странице, однако ограничения распространяются на весь ресурс. Для него маркерами являются переспам ключевых, плагиат, пользовательский спам. За нарушения «Панда» может пессимизировать или вовсе исключить из индексации весь сайт. Но если по большей части ресурс качественный, а нарушения есть не на всех страницах, поисковик может продолжить его показывать, понизив позиции только по опредлённым запросам.

Какие сайты могут попасть под ограничения:

• использующие заимствованный контент;
• использующие клоакинг;
• спамящие ключевыми словами;
• имеющие переизбыток нерелевантных странице заголовков;
• с большим процентом отказов;
• размещающие нерелевантную или избыточную рекламу;
• с шаблонным и однообразным контентом;
• с коротким анкор-листом внутренней перелинковки.

Как снять:

Необходимо работать над повышением качества контента на сайте.

• удалите дубли, напишите оригинальные тексты;
• уберите весь контент, который нерелевантен тематике сайта;
• в Search Console найдите запросы, которые приводят на страницы, не удовлетворяющие запросы пользователей или дающие неоднозначную информацию;
• приведите тексты в порядок, они должны быть полезными, иметь читабельную структуру, маркированные списки, устраните переспам ключевых слов и т.д.
• проверьте соответствие заголовков теме страниц, уберите из них лишние ключевые;
• если проблемные страницы не получается оперативно исправить, а удалять вы их не планируете, закройте на время их от индексации, пока не закончите работу;
• удалите исходящие линки на ресурсы, отличные по тематике от вашего.

Выход из-под «Панды» обычно занимает много времени, и к этому надо быть готовым. Вероятно, придётся делать не одно и не два обновления, чтобы поисковик принял положительное решение.

Бэби Панда

Фильтр появился практически сразу за основной «Пандой», потому и получил такое название. Создан для отслеживания сайтов с чрезмерной рекламой на первом экране.

Скорость загрузки

Обновление было выпущено в 2018 году для борьбы со слишком медленными сайтами. Сейчас то, насколько быстро грузится ресурс, напрямую влияет на его позиции в выдаче, так как это один из основных алгоритмов ранжирования. Если сайт слишком тяжёлый, алгоритм будет пессимизировать его, отдавая предпочтение более быстрым ресурсам.

Мобильная версия

Разговоры об удобстве использования сайтов с мобильных устройств начались ещё в 2015. Тогда Google заявил, что будет отдавать приоритет в выдаче тем сайтам, которые оптимизированы под мобильные. Тогда же появилось обновление алгоритма ранжирования, получившее название Mobilegeddon.

В прошлом году Google полностью перешёл на мобильную индексацию — появился Mobile-first indexing. Это не совсем фильтр, однако поисковик не будет показывать в выдаче сайты, плохо адаптированные или вовсе неадаптированные под мобильные.

Колибри

Это алгоритм, созданный для анализа семантики текстов. Он был запущен в 2013 году, однако сейчас «Колибри» уже заменён на усовершенствованные алгоритмы. По сути он следил за тем, чтобы в результаты поиска попадали сайты, которые в наибольшей мере соответствуют запросу пользователя и его намерениям.

Фред (Google Maccabees)

Это часть поискового алгоритма, ответственная за выявление некачественных сайтов. «Фред» — неофициальное название, которое использует в оптимизаторской среде. С момента запуска этого обновления огромное количество сайтов буквально рухнуло в небытие, потеряв до 90% трафика в органической выдаче.

На какие сайты были наложены санкции:

• с неинформативным и бесполезными текстами;
• с переоптимизированным контентом;
• с текстами, которые писались под роботов, а не для людей;
• содержащие слишком много баннерной рекламы;
• с неуникальным контентом.

Слишком много ссылок сразу

Фильтр Too many links at once накладывался на сайты, которые одномоментно получали слишком много входящих ссылок, что воспринималось как искусственное наращение ссылочной массы. Но сейчас качество ссылок находится в ведении «Пингвина», а этот фильтр как таковой уже не используется.

Битые ссылки

Да, у Google есть специальный фильтр, который следит за функциональностью ссылок. Если у сайта слишком много битых ссылок, он может попасть под санкции. В этом случае ресурс неизбежно потеряет позиции.

Чтобы снять ограничения, нужно найти все некорректные ссылки на сайте и удалить их или сделать корректный редирект.

Линкопомойка

У поисковика есть фильтр, следящий за продажей ссылок. Он карает те сайты, которые торгуют местами под ссылки. Зачастую в «красной зоне» оказываются ресурсы, у которых на одной странице более пяти ссылок на другие ресурсы, особенно никак не связанные тематически.

Социтирование

Фильтр, который тоже направлен на борьбу с некачественными ссылками. Применяется в том случае, если качество сайта-донора довольно низкое или донор и акцептор не соотносятся тематически. «Социтирование» анализирует не только входящие ссылки, но и исходящие.

Как снять ограничения:

Не ставьте ссылки на сайты сомнительного качества или такие, которые не соответствуют вашей теме. Проверьте входящие ссылки — нет ли среди них линков, ведущих с низкокачественных ресурсов. Если есть — уберите их.

Дополнительные результаты

У этого фильтра есть расхожее забавное название — «Сопли Гугла» (из-за звучания английского названия Supplemental results). Результаты можно найти под ссылкой «Показать скрытые результаты». Не то чтобы фильтр применяется за кражу чужого контента, но страницы с неуникальным содержимым вполне могут от него пострадать.

Ранее предполагалось, что попасть в немилость могут сайты:

• с украденными текстами;
• со множеством дублей;
• с непроработанной внутренней перелинковкой.

-30, -5, -950

Официально Google не анонсировал эти фильтры, однако специалисты замечали их влияние, если сайты промышляли следующим:

• дорвеи;
• линкопомойки;
• клоакинг;
• JavaScript-редиректы.

Фильтр откидывает сайты на 30 или на 5 пунктов по большей части запросов, или же выкидывает на последние позиции в сотне.

Переоптимизация

Следит за чрезмерной оптимизацией. Сейчас этот фильтр является частью «Панды». Он может либо понизить сайт в выдаче, либо вовсе выкинуть его из индекса, смотря насколько провинился ресурс.

Как снять:

• убрать переспам по вхождениям;
• убрать ключи из заголовков h1-h6;
• почистить мета-теги;
• проверить alt и title картинок на предмет переспама.

Обновление алгоритмов Google

После того, как «Пингвин» и «Панда» стали частью основного алгоритма, а другие фильтры просто прекратили своё существование, Google несколько раз выпускал новые алгоритмы и делал обновления своих систем мониторинга качества контента. Некоторые из них не наказывают сайты при нарушениях, однако не позволяют занять высокие позиции. Но все системы Google стоит воспринимать как единый «организм» и при оптимизации сайтов учитывать рекомендации по максимуму.

Система полезного контента

«Система полезного контента» была создана для контроля контента, чтобы показывать пользователям наиболее полезные ресурсы. Технология системы строилась на машинном обучении. Однако уже спустя год Google заявил, что общей системы больше не будет, а при анализе будут учитываться различные сигналы от алгоритмов. Но рекомендации для создания контента остались прежними: необходимо готовить интересные, полезные, уникальные тексты, рассчитанные на людей, а не на поисковых роботов.

Что нужно знать о работе алгоритмов Google:

• большая их часть работает на уровне страницы, а не всего ресурса, поэтому нет взаимосвязи между некачественными и качественными страницами сайта — первые не влияют на вторые при ранжировании;
• выдача регулярно меняется, апдейты осуществляются постоянно, не только крупные — поисковик постоянно обновляет и более мелкие системы, а значит предугадать, когда сайт вернётся в выдачу после удаления малополезного контента, невозможно.

SpamBrain

SpamBrain существует с 2018 года и направлен на борьбу с опасным и не имеющим пользы контентом. Система работает на основе искусственного интеллекта и по принципу действия схожа с ручными санкциями. С той лишь разницей, что SpamBrain работает без участия человека.

Какие функции выполняет:

• определяет ссылочный спам;
• ищет любой тип спама, размещённый после взлома;
• находит опасный контент, который может нанести вред пользователям;
• ищет признаки харассмента и материалы, в которых содержатся требования денег, например, за удаление каких-либо сведений о человеке;
• фильтрует отзывы в бизнес-профилях, отсеивая фейковые;
• определяет сгенерированный или несодержательный контент, созданный с целью влияния на ранжирование.

Однако здесь стоит уточнить, что система реагирует не на вообще весь контент, созданный нейросетями, а только на тот, который не имеет пользы. Если при написании текста задействован ИИ, и при этом материал получился качественным, Google не будет ограничивать страницу в ранжировани.

В марте этого года состоялось большое обновление алгоритмов поисковика. После него расширились типы спама, против которых направлен SpamBrain:

• применение старых доменов — речь о случаях, когда покупается домен, меняется содержимое сайта и публикуется несодержательный контент;
• раздувание контента с целью влияния на поисковую выдачу — когда создаётся множество страниц с бессвязным содержимы, при этом неважно, кто произвёл этот контент — ИИ или человек;
• публикация на сайте рекламных материалов и другого контента, который никак не связан с тематикой ресурса.

RankBrain, BERT, MUM

RankBrain — это пионер глубокого обучения в поиске. Система была запущена в 2015 году. Умеет анализировать слова документов, которые попадают в поиск, и выдавать релевантный ответ даже тогда, когда ключ страницы не входит в запрос.

BERT появился в 2019 году. Алгоритм умеет анализировать естественный язык (NLP) и распознаёт намерение пользователя. Поэтому оптимизированные тексты должны учитывать следующее:

• естественность — они должны быть написаны таким языком, который используют пользователи;
• голосовой поиск — сейчас он очень активно используется, запросы вводятся с применением разговорного языка, поэтому необходимо делать оптимизацию с учётом этого;
• быстрые ответы — соответствие текста речи пользователей повышает шансы попадания в быстрые ответы.

MUM (Multitask Unified Model) — алгоритм, умеющий находить информацию не только по словам, но и по картинкам. Он может формировать для пользователей сложные, подробные ответы, используя большой массив данных не только на языке запроса, но и на других языках.

E-E-A-T

Одна из основных современных концепций оценки контента, которой нужно руководствоваться при оптимизации. Оценивает опыт, экспертность автора, авторитетность площадки и достоверность материалов.

E-E-A-T ищет полезную и правдивую информацию по запросу пользователя. Не является алгоритмом или фактором ранжирования, однако система подаёт сигналы краулерам поисковой системы. E-E-A-T работает не полностью автономно, ей помогают асессоры — специалисты, которые вручную проверяют сайты и определяют их рейтинг с учётом правил Google. Основной алгоритм обучается на основе работы асессоров, продвигает в поисковой выдаче ресурсы, которые отвечают концепции E-E-A-T, и понижает некачественные.

Ручные санкции

Кроме алгоритмов, Google также активно применяет ручные санкции. Они могут накладываться как на конкретные URL, так и на сайт целиком. Разница в том, что санкции накладывает живой человек — сотрудник поисковика, который вручную проверяет ресурсы на их соответствие требованиям. В случае применения таких ограничений владелец сайта получит сообщение в Search Console.

Чтобы снять ограничения, необходимо:

• выяснить причину наложения;
• устранить проблемы, обычно в уведомлении добавляют URL страниц, на которых найдены нарушения;
• проверить доступность страниц для краулеров;
• отправить запрос на проверку, указав все работы, которые были выполнены для устранения проблем.

Время на рассмотрение запроса нигде не регламентировано. Здесь нужно просто набраться терпения и дождаться повторной проверки.

За что могут наказать:

Спам от третьих лиц

Поисковик пришлёт уведомление, если найдёт страницы со спамом, размещённым сторонними пользователями. При этом в целом сайт может быть качественным.

Как снять:

• найти страницы, на которых пользователи могут добавлять свою информацию, можно отследить активность по росту трафика;
• что нужно удалить:
• всё, что не относится к теме ресурса;
• текст, не имеющий смысла или созданный нейросетью;
• любые пользовательские комментарии, хотя бы отдалённо напоминающие рекламу;
• результаты поиска по сайту, представляющие собой запросы для продвижения стороннего ресурса.
• запросить повторную проверку и дождаться результатов.

Спам на сервере бесплатного хостинга

Как правило, Google откидывает вниз выдачи отдельные страницы, имеющие нарушения по части спама, однако если хостинг кишит такими страницами, под ограничение может попасть весь ресурс.

Как снять:

• пользуйтесь рекомендациями Google по защите от спамеров;
• удалите все спамные аккаунты, которые найдёте;
• запросите новую проверку.

Проблемы со структурированными данными

Ограничения накладываются за неправильную разметку структурированных данных. При этом в Search Console появляется соответствующее уведомление. За какие проступки можно получить ограничения:

• в разметку добавлено содержимое, которое не видно пользователям;
• содержится контент, не релевантный странице;
• низкокачественное содержимое.

Если наложено ограничение по разметке структурированных данных, все расширенные сниппеты ресурса пропадают из выдачи, наблюдаются проблемы с индексацией размеченного содержимого.

Как снять:

• проверить соответствие микроразметки требованиям Google;
• проверить отчёт «Структурированные данные» в Search Console;
• устранить найденные нарушения;
• запросите новую проверку.

Искусственные входящие ссылки

Если вас заподозрят в применении искусственных ссылок, ведущих на сайт, в Google Search Console придёт грозное уведомление. Снимаются ручные ограничения таким же способом, как при наложении «Пингвина».

Искусственные исходящие ссылки

Санкции накладываются, если на сайте обнаруживаются исходящие ссылки, созданные с целью влияния на поисковую выдачу. Чтобы снять ограничение, необходимо удалить все искусственные ссылки или закрыть их от индексации атрибутом rel=nofollow.

Бесполезный контент

Ограничения накладываются, если на страницах много малоценного или некачественного контента:

• сгенерированный автоматически текст;
• страницы партнёров, не имеющие ценности;
• копипаста.

При наложении таких санкций из выдачи может вылететь не только одна страница, но и ресурс целиком.

Как снять:

• убедиться что ваш контент оригинальный;
• проверить качество партнёрских страниц;
• проверить наличие дорвеев или сгенерированных автоматически страниц;
• удалить весь низкокачественный контент;
• сделать запрос в Google для повторной проверки.

Маскировка, скрытая переадресация

Санкции накладываются, если пользователи видят на страницах контент, отличный от того, что видят поисковые боты, или если при переходе на страницу пользователей перенаправляют на другую страницу, которую краулер не может видеть.

В этом плане надо быть внимательнее тем, кто использует страницы с платным доступом. Для их обозначения необходимо пользоваться особой микроразметкой. Если этого не сделать, поисковик примет такой контент за скрытый.

Как снять:

• в Search Console есть инструмент, который позволяет посмотреть на страницу так, как ещё видят краулеры поисковой системы, с его помощью можно увидеть, есть ли на странице контент, отличный от того, который видят пользователи;
• убрать текст, сливающийся с фоном;
• с помощью CSS проверьте наличие скрытого текста;
• убрать весь скрытый текст или исправить страницы так, чтобы содержимое было видно и краулеру, и посетителям;
• удалить все перенаправления на закрытые от индексации страницы;
• отправить запрос в Google для новой проверки.

Замаскированные изображения

Применяется, когда картинки из выдачи отличаются от тех, что размещены на сайте. При выявлении таких изображений они удаляются из поиска по картинке. Здесь ситуация аналогична текстам. Либо посетителям и краулеру показывают разные картинки, либо при переходе из поисковой выдачи посетитель попадает на ресурс, который этой картинки не содержит.

Чтобы снять ограничения, нужно удалить все замаскированные картинки.

Скрытый текст, переспам по ключевым словам

Ограничения применяются, если на страницах ресурса присутствует скрытый текст или есть переспам по ключевым словам. Чтобы снять санкции, нужно выполнить те же действия, что и для снятия маскировки. Только в случае переспама также необходимо убрать излишние ключевые.

Различие версий АМР и канонической

При использовании АМР-версий важно убедиться, что их содержимое соответствует канонической странице. Допустимы незначительные отличия в формулировках, однако тематическая направленность и функционал должны быть идентичными. Иначе поисковая система самостоятельно примет меры: будет показывать канонические страницы вместо ускоренных.

• приведите порядок содержимое АМР и канонических страниц — оно не должно различаться, на АМР-странице необходимо добавить ссылку на каноническую;
• проверьте, как видят страницы краулеры и посетители;
• проанализируйте файл robots.txt, не блокирует ли он доступ к каким-то ресурсам, что может вызвать несоответствие;
• запросите новую проверку и дождитесь результата.

Угрозы безопасности

Google присылает уведомления, если что-то представляет опасность как для ресурса, так и для его пользователей. Например:

• содержимое, появившееся на страницах после взлома;
• контент, вводящий заблуждение или подталкивающий пользователей к небезопасным действиям;
• вредоносные программы.

Уведомление придёт, если поисковая система заподозрит необычную активность. Для снятия ограничений необходимо провести ту же работу, что при наложении санкций за спам, а затем запросить повторную проверку.

Однако лучший вариант — не допустить появления проблем, чем бороться с последствиями. Поэтому мы рекомендуем изначально вести работу по оптимизации в соответствии с требованиям Google. Не стоит пытаться обмануть поисковик или получить быстрые результаты за счёт серых методов продвижения. Это чревато серьёзными санкциями, выход из-под которых может занять не один месяц.

Компания Quality Performance возьмёт на себя продвижение вашего сайта в Google.

Источник фото: freepik.com