О чем эта статья? Почему не индексируется сайт? Страницы вообще не индексируются. Страницы не индексируются только одним поисковиком. Страницы долго индексируются. Способы ускорения индексации: robots.txt sitemap.xml Переобход страниц Обновление контента Пинг-сервисы Ссылки внешние Перелинковка Простая навигация Время чтения: 8 минут. Индексация сайта – это процесс внесения в индекс поисковых систем данных о новом сайте либо страницах, а также обновленном контенте Однако, часто бывает так, что сайт не индексируется в Яндексе, Гугле и других ПС. В статье мы разберемся, почему иногда сайт плохо индексируется в поисковых системах. Нужно помнить, сколько индексируется сайт в каждой ПС - у каждой из них существуют свои апдейты. А также расскажем, какие существуют действенные способы и сервисы ускорения индексации. Почему не индексируется сайт? Проблемы с индексацией сайта бывают трех типов: Страницы вообще не индексируются. Страницы не индексируются только одним поисковиком. Страницы долго индексируются. Страницы сайта не индексируются нигде Проверьте настройки хостинга и файл robots.txt — там не должно быть запрета на индексацию. Также запрет может быть в HTTP-заголовке X-Robot-Tag, который находится в файле конфигурации сервера. Проверить запрет через X-Robots-Tag можно в инструменте сервиса PRCY бесплатно. Доступно 5 лимитов. Если сайт не индексируется одним поисковиком Если вы хотите узнать и понять, почему сайт не индексируется в google, или Яндекс, или других поисковиках - тогда стоит проверить сайт на фильтры проблемной поисковой системы. Существует множество способов: Уведомления о санкциях в ЯВМ и ГСК. Сервис Be1: легко проверяется без регистрации. Сервис "Пиксель.тулс" – инструмент проверки санкций. Анализ ИКС сайта (только для Яндекса, аннулируется при фильтрах) Анализ трафика и страниц в индексе (резкий обвал одной из ПС). Если страницы индексируются, но долго Возможно, контент редко обновляется, поэтому роботы редко его посещают. Здесь уместно будет вспомнить высказывание Дж.Мюллера из Google: «Лучший способ улучшить процесс индексирования — создавать превосходный, а значит убедительный и уникальный контент». Это означает, что нужно следовать основным простым правилам: Проверить качество и уникальность контента. Страницы с контентом нужно постоянно обновлять, улучшать, в соответствии с новыми алгоритмами ПС. Обновлять контент и делать хорошую внутреннюю оптимизацию. Проверить внутреннюю перелинковку. Способы ускорения индексации Далее подробно разберем способы, которые помогут ускорить индексацию страниц. robots.txt Настроить индексацию в robots.txt таким образом, чтобы исключить дублирование страниц и исключить из обхода все служебные разделы сайта, не содержащие информации для пользователей. С помощью тегов Noindex и Nofollow закрыть конкретные ссылки и документы, которые не должны попасть в базу поиска. При этом проверить, не закрыты ли полезные разделы сайта. sitemap.xml У карты сайта нужно проверить наличие и правильность составления. Если ее нет – то сгенерировать и отправить в ЯВМ и ГСК. Прописать дополнительные сведения: дата их последнего обновления (через тег <lastmod>) и приоритет, определяющий очередность внесения их в индекс (через тег <priority>). Переобход страниц В Вебмастере: через «Индексирование — Переобход страниц». В Гугле: через проверку урла в индексе и стандартную отправку, либо массовую отправку урлов через ГИАПИ. Как настроить ГИАПИ - читайте здесь. Обновление контента Регулярные публикации новых материалов помогут ускорить индексацию сразу в обоих ПС. Когда материал обновляется, добавляется часто, вы приучаете роботов к постоянным изменениям на сайте. Таким образом, они запоминают график обновлений и начинают посещать ресурс, как по расписанию, чтобы быстро проиндексировать добавленный контент. Поисковики ценят, когда веб-мастер следит за актуальностью контента, исправляет его и добавляет что-то новое. Пинг-сервисы Пингование — это сервис, автоматически отправляющий уведомление поисковым роботам о выходе обновлений на сайте. Пинг-сервисы также называют Update Services или «агрегаторами слежения». Существуют специальные сервисы, к которым можно подключить свой ресурс, чтобы они сообщали Яндексу и Google о новом контенте. Это позволит ускорить индексацию. Чем раньше роботы узнают о внесенных изменениях, тем быстрее их просканируют и добавят в индекс. Для веб-сайтов на WordPress они работают по умолчанию. Таких сервисов очень много, например: pingler.com pingomatic.com Ссылки внешние Проставление внешних ссылок: Найти сторонние сайты по тематике, где можно оставлять ссылки или публиковать посты, и размещать ссылки на новые материалы. Оставляя бэклинки на сторонних ресурсах, вы повышаете ссылочную массу своего сайта и одновременно ускоряете его индексацию в поисковиках. Чем авторитетнее и популярнее площадка, тем чаще ее посещают Яндекс- и Гугл-боты. Анонсировать выход нового контента в соцсетях компании. Для Яндекса более важны Вконтакте и Одноклассники, Google ориентируется в основном на западные соцсети. Построение PBN-сетей с использованием дроп-доменов. Перелинковка Проверить структуру и перелинковку разделов. На сайте не должно быть страниц-сирот, оторванных от других. Если на страницу не ведут ссылки с других категорий, разделов, поисковикам сложнее определить ее релевантность и неоткуда перейти на нее для сканирования. Нужно встроить их в структуру сайта. Желательно, чтобы каждая страница имела ссылку с родительской категории, и они были бы соединены и между собой. Простая навигация Оптимизировать структуру каталогов и упростить навигацию, чтобы с «домашней» до них можно было добраться максимум в три клика. Ускорить индексацию — значит помочь роботу быстрее обнаружить контент, и уровень вложенности играет здесь не последнюю роль. Чем меньше показатель DFI (Click Distance From Index), тем приоритетнее считается страница и тем более ускоренным будет ее внесение в индекс. Поэтому навигация и структура ресурса должны быть простыми и понятными как для пользователя, так и для поисковых роботов.