Robots.txt — файл с инструкциями для поисковой системы
Яндексили Гугл о правилах индексирования сайта.
Данный файл располагается в корневой папке сайта на сервере хостинг-провайдера.
Файл robots.txt может содержать:
-
директивы для закрытия от индексации конкретных страниц или целых разделов сайта (директива disallow);
-
директивы с адресом расположения файла sitemap.xml
-
указаниена на основное зеркало сайта.
Пример содержимого файла robots.txt:
