Робот поисковой системы («бот», «паук») — виртуальный «сотрудник» поисковой системы, представляющий собой программу, работающую по определенному сценарию и выполняющий операции по заданному расписанию и в постоянном цикле.
Роботы поисковых систем используются для сбора, обработки или подготовки информации о сайтах и их содержимом для работы поисковой системы.
Каждый из роботов имеет свое «имя», которым он «представляется» с помощью значения user-agent при переходе на анализируемый сайт. Большинство серьезных систем аналитики посетителей может этих ботов выделять из общей массы посетителей.
Подробнее о ботах Яндекса можно прочитать здесь: http://help.yandex.com/search/robots/check-robot.xml
, а о ботах Google
— здесь: https://support.google.com/webmasters/answer/182072
.
Как системы статистики «видят» поисковых роботов на примере awstat
Типы роботов поисковых систем
- Индексирующий робот — обнаруживает и индексирует страницы, чтобы создать базу для основного поиска.
- Робот по изображениям (картиночный бот) — заносит в индекс поисковой системы
графическую информацию, которая в дальнейшем отображается в выдаче соответствующего сервиса, например Яндекс.Картинки или Картинки.Google.
- Робот по зеркалам сайта — проверяет зеркала сайтов
, прописанные в robots.txt
и если они идентичны, то в результатах выдачи поисковика
будет только один сайт, называемый «главное зеркало».
- Робот, проверяющий работоспособность сайта или страницы — проверяет доступность сайта, добавленного через сервис добавления URL
в Яндекс.Вебмастере
.