Робот поисковой системы

СайтАктивСловарь терминовРобот поисковой системы

Робот поисковой системы («бот», «паук») — виртуальный «сотрудник» поисковой системы, представляющий собой программу, работающую по определенному сценарию и выполняющий операции по заданному расписанию и в постоянном цикле.

Роботы поисковых систем используются для сбора, обработки или подготовки информации о сайтах и их содержимом для работы поисковой системы.

Каждый из роботов имеет свое «имя», которым он «представляется» с помощью значения user-agent при переходе на анализируемый сайт. Большинство серьезных систем аналитики посетителей может этих ботов выделять из общей массы посетителей.

Подробнее о ботах Яндекса можно прочитать здесь: http://help.yandex.com/search/robots/check-robot.xml внешняя ссылка , а о ботах Google — здесь: https://support.google.com/webmasters/answer/182072 .

Как системы статистики «видят» поисковых роботов на примере awstat

Пример того как системы статистики видят поисковых роботов (ботов)

Типы роботов поисковых систем

Индексирующий робот — обнаруживает и индексирует страницы, чтобы создать базу для основного поиска.
Робот по изображениям (картиночный бот) — заносит в индекс поисковой системы графическую информацию, которая в дальнейшем отображается в выдаче соответствующего сервиса, например Яндекс.Картинки или Картинки.Google.
Робот по зеркалам сайта — проверяет зеркала сайтов, прописанные в robots.txt и если они идентичны, то в результатах выдачи поисковика будет только один сайт, называемый «главное зеркало».
Робот, проверяющий работоспособность сайта или страницы — проверяет доступность сайта, добавленного через сервис добавления URL в Яндекс.Вебмастере.