Робот поисковой системы

Робот поисковой системы («бот», «паук») — виртуальный «сотрудник» поисковой системы, представляющий собой программу, работающую по определенному сценарию и выполняющий операции по заданному расписанию и в постоянном цикле.

Роботы поисковых систем используются для сбора, обработки или подготовки информации о сайтах и их содержимом для работы поисковой системы.

Каждый из роботов имеет свое «имя», которым он «представляется» с помощью значения user-agent при переходе на анализируемый сайт. Большинство серьезных систем аналитики посетителей может этих ботов выделять из общей массы посетителей.

Подробнее о ботах Яндекса можно прочитать здесь: http://help.yandex.com/search/robots/check-robot.xml , а о ботах Google — здесь: https://support.google.com/webmasters/answer/182072 .

Как системы статистики «видят» поисковых роботов на примере awstat

Типы роботов поисковых систем

• Индексирующий робот — обнаруживает и индексирует страницы, чтобы создать базу для основного поиска.
• Робот по изображениям (картиночный бот) — заносит в индекс поисковой системы графическую информацию, которая в дальнейшем  отображается в выдаче соответствующего сервиса, например Яндекс.Картинки или Картинки.Google.
• Робот по зеркалам сайта — проверяет зеркала сайтов, прописанные в robots.txt и если они идентичны, то в результатах выдачи поисковика будет только один сайт, называемый «главное зеркало».
• Робот, проверяющий работоспособность сайта или страницы — проверяет доступность сайта, добавленного через сервис добавления URL  в Яндекс.Вебмастере.

Услуги, связанные с термином:

• Поисковое продвижение (SEO)
• SEO по ТОП-у
• SEO по трафику
• SEO для интернет-магазинов