Поисковый робот

СайтАктивСловарь терминовПоисковый робот

Поисковый робот - программное обеспечение поисковых систем, используемое при индексировании и сканировании сайтов. Именно благодаря его работе поисковые системы получают сведения о существующих страницах на сайтах, которые затем вносятся в базу и выдаются пользователям в результате заданного поискового запроса. Бот не проводит анализ, а только осуществляет передачу информации на сервер.

Чтобы повысить эффективность индексации сайта важно помнить о том, что поисковые роботы имеют собственные особенности функционирования (они же боты, пауки и краулеры).

Принцип их действия достаточно прост. Программа посещает сайт, заносит его контент в индекс поисковой системы, определяет ссылки и переходит по ним. В результате создается 2 файла - XML Sitemap, robots.txt.

Владельцы поисковых машин нередко ограничивают глубину проникновения паука внутрь сайта и максимальный размер сканируемого текста, поэтому чересчур большие сайты могут оказаться не полностью проиндексированными поисковой машиной.

Кроме обычных пауков, существуют так называемые «дятлы» — роботы, которые «простукивают» проиндексированный сайт, чтобы определить, что он доступен.

Порядок обхода страниц, частота визитов, защита от зацикливания, а также критерии выделения значимой информации определяются алгоритмами информационного поиска.

Особенности работы и функциональные возможности поисковых роботов

Выдача по результатам поискового запроса проходит 3 основных этапа формирования:

Сканирование, выполняемое ботами (обработке подлежат тексты, изображения и видео). Процедура проводится достаточно часто, с учетом того, насколько часто обновляется ресурс.
Индексация, подразумевающая под собой перенос полученной информации в БД поисковой системы, а также присвоения индекса для ускорения поиска.
Выдача результатов – является результатом поиска данных в соответствии с ранжированием страниц в индексе поисковых систем, при обязательном определении релевантности запроса.

Следует помнить о том, что в определенных случаях страницы индексируются и без предварительной обработки поисковыми роботами. Это возможно в случае, если паук выявил новую, либо обновленную страницу, переходя по ссылке на сторонний ресурс со сканируемой страницы.