Поисковый робот. Что это?

Поисковый робот

Поисковый робот - программное обеспечение поисковых систем?, используемое при индексировании и сканировании сайтов. Именно благодаря его работе поисковые системы получают сведения о существующих страницах на сайтах, которые затем вносятся в базу и выдаются пользователям в результате заданного поискового запроса. Бот не проводит анализ, а только осуществляет передачу информации на сервер.

Chto_takoe_kloaking_2.jpg

Чтобы повысить эффективность индексации сайта важно помнить о том, что поисковые роботы имеют собственные особенности функционирования (они же боты, пауки и краулеры). Принцип их действия достаточно прост. Программа посещает сайт, заносит его контент в индекс поисковой системы?, определяет ссылки и переходит по ним. В результате создается 2 файла - XML Sitemap?, robots.txt?.

Владельцы поисковых машин нередко ограничивают глубину проникновения паука внутрь сайта и максимальный размер сканируемого текста, поэтому чересчур большие сайты могут оказаться не полностью проиндексированными поисковой машиной. Кроме обычных пауков, существуют так называемые «дятлы» — роботы, которые «простукивают» проиндексированный сайт, чтобы определить, что он доступен.

Порядок обхода страниц, частота визитов, защита от зацикливания, а также критерии выделения значимой информации определяются алгоритмами? информационного поиска.

Особенности работы и функциональные возможности поисковых роботов

Выдача по результатам поискового запроса проходит 3 основных этапа формирования:

  • Сканирование, выполняемое ботами (обработке подлежат тексты, изображения и видео). Процедура проводится достаточно часто, с учетом того, насколько часто обновляется ресурс.
  • Индексация, подразумевающая под собой перенос полученной информации в БД поисковой системы, а также присвоения индекса для ускорения поиска.
  • Выдача результатов – является результатом поиска данных в соответствии с ранжированием страниц в индексе поисковых систем, при обязательном определении релевантности запроса.

Следует помнить о том, что в определенных случаях страницы индексируются и без предварительной обработки поисковыми роботами. Это возможно в случае, если паук выявил новую либо обновленную страницу, переходя по ссылке на сторонний ресурс со сканируемой страницы.

Услуги, связанные с термином: