Индексация страниц в Google

Если контент на страницах не проиндексирован, то о попадании в результаты выдачи не может быть и речи. Поэтому индексация страниц имеет ключевое значение для продвижения в поисковых системах. Однако в этом по большей части автоматизированном процессе тоже могут возникать неполадки. Трудности с индексацией в Google встречаются чаще, чем может показаться. И, как правило, они сводятся к трём основным проблемам:

1. Поисковая система вообще не индексирует ни одну страницу сайта.
2. В индекс попадает только часть страниц.
3. Индексация новых страниц и обновлений на старых занимает слишком много времени.

Что делать, если владелец сайта сталкивается с одной из этих проблем? Для решения проблемы потребуется выполнить несколько действий.

1. Проверить индексацию

Чтобы проверить, как индексируются страницы в Google и индексируются ли они вообще, есть несколько проверенных способов.

1. Команда site. В поисковой строке следует ввести site:name.com/, только вместо name.com/ должен быть URL вашего сайта. Это позволит узнать примерное количество страниц, которые сейчас находятся в индексе. То же самое можно проделать и с отдельными страницами, для этого нужно будет вставить их полный URL. Если в результатах выдачи не отобразится ничего, значит страница не была проиндексирована.
2. Google Search Console. Чтобы воспользоваться этим методом, сайт должен быть добавлен в ваш аккаунт, что является подтверждением права собственности. Далее в соответствующей вкладке можно выполнить проверку индексации всех страниц.
3. Сервисы и SEO-инструменты. Профессиональные продукты для SEO-специалистов часто имеют такой функционал. Если вы используете в работе что-то подходящее для таких задач, просто запустите проверку.
4. Google Docs. Да, даже гуглдоки можно использовать для проверки индексации. Если вставить в документ проиндексированную страницу, при наведении на неё курсора всплывает окно предварительного просмотра. Если страница не прошла индексацию, Google Docs ничего не покажет.

2. Оповестить Google, если весь сайт не в индексе

Оповестить поисковую систему можно через Google Search Console. В консоли через кнопку «Добавить ресурс» надо добавить ваш сайт и подтвердить права на него. Добавление непроиндексированного сайта уже является сигналом для поисковика, что туда надо отправить краулеров.

Что делать, если это не помогло?

Если Google по какой-то причине не пошёл сканировать добавленный сайт, его можно немного «подтолкнуть», отправив запрос также через консоль. Делается это через кнопку «Запросить индексирование». В строке поиска внутри консоли необходимо ввести URL вашего сайта, а затем нажать соответствующую кнопку.

В идеале таких проблем не должно возникать, но всё же стоит следить за тем, как продвигается сканирование. Чтобы не попасть в неприятную ситуацию, следует соблюдать следующие рекомендации:

• поставьте поисковик в известность о существовании сайта;
• отслеживайте, как индексируется ресурс;
• устраняйте технические ошибки, которые могут стать препятствием для сканирования;
• следите за качество контента — никакое сканирование не поможет, если контент на страницах оставляет желать лучшего;
• расширяйте ссылочный профиль ресурса с помощью авторитетных площадок;
• упростите роботам задачу — создайте в корневом каталоге карту сайта Sitemap.xml, лучше динамическую.

Что ещё мешает индексации?

Иногда запрос на индексацию не способен решить проблему, потому что её корни уходят более глубоко. Как правило, этому способствуют два обстоятельства:

1. Сайт имеет множество технических ошибок, которые не позволяют выполнить индексацию.
2. Поисковик не вносит в индекс страницы или весь сайт, потому что считает их мало полезными для пользователей.

Чтобы устранить проблему, надо выяснить причину.

Файл robots.txt

Этот файл используется для управления роботами на страницах, в том числе и краулерами поисковиков. Если в нём стоит запрет на посещение, роботы будут обходить сайт стороной. В Google Search Console эти запреты отображаются, так что обязательно проверьте доступность страниц для сканирования.

Теги noindex

Запрещающие теги точно так же ограничивают возможности сканирования. С помощью инструмента URL Inspection в Google Search Console можно проверить, на каких страницах используются подобные теги.

Корректность файла Sitemap.xml

Карта сайта существенно повышает скорость и качество индексации, но только если она составлена корректно. Желательно, чтобы файл не был больше 10 Мб по объёму, а после каждого обновления его необходимо добавлять в консоль.

Тег canonical

Этот тег используется для указания канонической страницы. Как правило, на большей части страниц такого тега нет, либо у них прописан самоссылающийся тег, который указывает на каноничность самой этой страницы. Если тег canonical прописан неправильно, он может вести на несуществующую страницу, соответственно, нужный документ сканироваться не будет. Инструмент проверки URL Google информирует о таких проблемах.

Внутренняя перелинковка

Поисковики считают хорошими страницы, которые имеют уникальный URL и доступны с помощью < a href="" > внутренних ссылок между страницами, указанными в исходном HTML. Если на сайте есть страницы, которые с другими никак не связаны, поисковик может их просто не найти, а значит и индексировать не будет. Перелинковка позволяет воспользоваться небольшой хитростью — разместите ссылку на нуждающийся в индексации документ на самой популярной странице сайта, так роботы просканируют её быстрее.

Атрибут nofollow

Проверьте, что во внутренних ссылках на сканируемые документы нет этого атрибута. В противном случае Google их просто не станет сканировать.

Качество контента

Сейчас полезность, интересность и экспертность контента являются определяющими факторами для ранжирования. Поисковик не будет показывать пользователям страницы, которые посчитает неполезными, неинформативными и нерелевантными. Более того, такие страницы он исключает из индекса, и попасть в выдачу они в принципе не смогут. Поэтому, чтобы получить хорошие позиции в поиске, важно работать над контентом.

Дубли

Дубли страниц поисковик тоже расценивает как сигнал о низком качестве сайта. Поэтому дублирования надо избегать, а в случае появления дублей — незамедлительно их удалять.

Трафик

Если на какие-то страницы сайта не идёт трафик, они могут стать балластом, который потянет весь ресурс вниз. Такие страницы лучше вычистить, возможно, это тоже поможет решить проблемы с индексацией.

Недостаток входящих ссылок

Если на вас ссылаются — это хорошо, Google такое нравится, такие ресурсы индексируются быстрее. А вот если входящих ссылок мало или нет вообще, сканирование может идти гораздо медленнее. Но тут важно знать золотую середину: использовать низкосортные площадки для закупки ссылок — плохая идея, Google активно борется со ссылочным спамом. Поисковая система будет учитывать только те ссылки, которые сделаны с авторитетных, проверенных ресурсов.

Что в итоге

Индексация — краеугольный камень продвижения, без неё никаких позиций в выдаче не будет, поэтому она имеет первостепенное значение. Чтобы ресурс попал в реестр поисковой системы, он должен быть грамотно оптимизирован и подготовлен к индексации. Чтобы продвигаться в ТОП выдачи, важно постоянно следить за тем, как идёт сканирование страниц и вовремя устранять недочёты.

Источник фото: ru.freepik.com