Robots.txt — файл с инструкциями для поисковой системы Яндекс
или Гугл
о правилах индексирования сайта.
Данный файл располагается в корневой папке сайта на сервере хостинг-провайдера.
Файл robots.txt может содержать:
-
директивы для закрытия от индексации
конкретных страниц или целых разделов сайта (директива disallow);
-
директивы с адресом расположения файла sitemap.xml
-
указаниена на основное зеркало сайта
.
Пример содержимого файла robots.txt: