Индексация сайта в поисковых системах

Индексирование сайта — это важнейшая, необходимая и первоочередная деталь в осуществлении его оптимизации. Ведь именно вследствие наличия индекса поисковые системы предельно быстро и точно могут отвечать на все запросы пользователей.

Что такое индексация сайта?

Индексацией сайта называют процесс добавления информации о содержимом (контенте) сайта в базу данных поисковиков. Именно индекс и является базой данных поисковых систем. Для того чтобы сайт был проиндексирован и появился в поисковой выдаче, на него должен зайти специальный поисковый бот. Весь ресурс, страница за страницей, исследуется ботом по определенному алгоритму. В результате находя и индексируя ссылки, изображения, статьи и т. д. При этом в поисковой выдаче выше в перечне будут находиться те сайты, авторитет которых выше по сравнению с остальными.

Выделяют 2 варианта индексации сайта ПС:

• Самостоятельное определение поисковым роботом свежих страниц либо созданного ресурса — данный способ хорош при наличии активных ссылок с других, уже проиндексированных сайтов, на ваш. В ином случае ждать поискового робота можно бесконечно долго;
• Пнесение URL на сайт в предназначенной для этого форме поисковика ручным способом — этот вариант позволяет новому сайту «встать в очередь» на индексацию, которая займет довольно продолжительное время. Способ простой, бесплатный и требует внесения адреса лишь главной страницы ресурса. Данную процедуру можно выполнить через панель вебмастера Яндекса и Гугла.

Как подготовить сайт к индексации?

Сразу стоит отметить, что крайне нежелательно выкладывать сайт на стадии разработки. Поисковые системы могут проиндексировать неоконченные страницы с некорректными сведениями, орфографическими ошибками и т. д. В итоге это негативно отразится на рейтинге сайта и выдаче информации с этого ресурса в поиске.

Теперь давайте перечислим моменты, о которых нельзя забывать на этапе подготовки ресурса к индексации:

• на flash файлы распространяются ограничения индексации, поэтому сайт лучше создавать с помощью HTML;
• такой тип данных, как Java Script также не индексируется поисковыми роботам, в связи с этим навигацию по сайту следует дублировать текстовыми ссылками, а всю важную информацию, которая должна быть проиндексирована, не пишем в Java Script;
• нужно убрать все неработающие внутренние ссылки так, чтобы каждая ссылка вела на реальную страницу вашего ресурса;
• структура сайта должна позволять с легкостью переходить от нижних страниц к главной и обратно;
• лишние и второстепенные сведения и блоки лучше переместить к низу страницы, а также скрыть их от ботов специальными тегами.

Как часто происходит индексация?

Индексация сайта в зависимости от ряда причин может занимать от нескольких часов до нескольких недель, вплоть до целого месяца. Обновление индексации, или апы поисковых систем происходят с различной периодичностью. По статистике в среднем Яндекс индексирует новые страницы и сайты за период от 1 до 4 недель, а Google справляется за период до 7 дней.

Но при правильной предварительной подготовке созданного ресурса эти сроки можно сократить до минимума. Ведь по сути все алгоритмы индексации ПС и логика их работы сводится к тому, чтобы дать наиболее точный и актуальный ответ на запрос пользователя. Соответственно, чем регулярнее на вашем ресурсе будет появляться качественный контент, тем быстрее он будет проходить индексацию.

Методы ускорения индексации

Для начала следует «оповестить» поисковики о том, что вы создали новый ресурс, как уже говорилось в пункте выше. Также многие рекомендуют добавить новый сайт в системы социальных закладок, но я так не делаю. Это действительно позволяло ускорить индексацию несколько лет назад, так как поисковые роботы частенько «наведываются» на такие ресурсы, но, на мой взгляд, сейчас лучше поставить ссылку из популярный соц сетей. В скором времени заметят и ссылку на ваш ресурс, и проиндексируют его. Подобный эффект может быть достигнут и при помощи прямых ссылок на новый сайт с уже проиндексированных ресурсов.

После того как несколько страниц уже попали в индекс и сайт стал развиваться для ускорения индексации можно попробовать «прикормить» поискового бота. Для этого нужно переодически публиковать новый контент примерно через равные промежутки времени (например, каждый день по 1-2 статьи). Конечно же, контент должен быть уникальным, качественным, грамотным и неперенасыщенным ключевыми фразами. Также рекомендую создать XML карту сайта, о котором пойдет речь ниже и добавить его в панели веб-мастера обоих поисковых систем.

Файлы robots.txt и Sitemap

Текстовый файл robots txt включает в себя указания для ботов поисковиков. При этом он дает возможность запретить индексацию выбранных страниц сайта для заданной поисковой системы. Если будете его делать вручную, то важно, чтобы имя данного файла было прописано только прописными буквами и находилось в корневой директории сайта, большинство CMS генеририруют его самостоятельно или с помощью плагинов.

Sitemap или карта сайта представляет собой страничку, содержащую полную модель структуры сайта в помощь «заблудившимся пользователям». При этом можно перемещаться со страницы на страницу без использования навигации сайта. Желательно создать такую карту и в формате XML для поисковых систем и вписать его в файл robots.txt для улучшения индексации.

Об этих файлах можете получить более подробную информацию в соответствующих разделах, перейдя по ссылкам.

Почему сайт не индексируется или выпал из индекса?

• Возможно вы недавно создали сайт, и еще не предприняли мер, для того чтобы поисковые системы его заметили;
• В том случае, если вы используете готовую CMS, обязательно проверьте настройки приватности. Иногда они стоят по умолчанию, поэтому сайт может не индексироваться;
• Еще одна причина - веб-ресурс или отдельные его файлы заблокированы в robots.txt;
• Если на сайте много повторяющихся материалов (дублирующийся страницы или мета-теги), то ваш сайт может не только выпасть из индекса, но и получить санкции от Google Panda.
• Перебои в работе хостинга или сервиса. Если сайт оказался недоступным в то время когда робот посетил его для индексации, то его страницы не будут внесены в базу данных поисковых систем. Это показывает важность наличия сервера с хорошим up time, а также надежным хостингом.  
• Следующая причина – ошибки при сканировании. Если их много, то робот не сможет полноценно обойти сайт, поэтому важно проверять сайт на наличие таких ошибок. Это можно сделать при помощи Google Webmaster Tools.
• Если сайт зарегистрирован на старое доменное имя, например, потому что оно хорошо воспринимается на слух, или легко читается, будьте готовы к тому, что предыдущий владелец, мог заниматься запрещенными методами SEO-продвижения. Чтобы это исправить продолжайте улучшать качество своего проекта, а также отправьте запрос в Яндекс и Google для пересмотра.
• Обычно файл htaccess используется для 301 редиректа, однако здесь также есть возможность закрытия доступа к сайту поисковым ботам. Поэтому необходимо проверить содержимое htaccess, чтобы в нем не присутствовала команда блокирования ресурса.  
• Отсутствие карты сайта в редких случаях также может привести к тому, что ваш сайт останется незамеченным для поисковых систем.

Как запретить сайт к индексации?

Управлять, в том числе и запрещать сайт или отдельную страницу к индексации, можно при помощи уже упомянутого выше файла robots.txt. Для этого создайте на своем ПК текстовый документ с таким названием, поместите его в корневой папке сайта и пропишите в файле от какого поисковика вы хотите скрыть сайт. Кроме того, скрыть контент сайта от ботов Google или Яндекса можно используя знак * . Вот эта инструкция в robots.txt запретит индексацию всем поисковым системам.

User-agent: *
Disallow: /

Для сайтов на WordPress запретить индексацию сайта можно через панель управления. Для этого в настойках видимости сайта нужно поставить галочку «Рекомендовать поисковым машинам не индексировать сайт». При этом Яндекс, скорее всего, прислушается к вашему пожеланию, а вот с Google не обязательно, но могут возникнуть некоторые проблемы.

Дата размещения/обновления информации: 29.04.2021 г.

Сообщить об ошибке