Файл robots.txt: где расположен, что содержит, чем полезен?

Robots.txt — файл с инструкциями для поисковой системы? Яндекс?или Гугл? о правилах индексирования сайта.

Данный файл располагается в корневой папке сайта на сервере хостинг-провайдера.

Файл robots.txt может содержать:

  • директивы для закрытия от индексации? конкретных страниц или целых разделов сайта (директива disallow);
  • директивы с адресом расположения файла sitemap.xml?
  • указаниена на основное зеркало сайта?.

Пример содержимого файла robots.txt:
Пример содержимого файла robots.txt