Robots.txt

Robots.txt — файл с инструкциями для поисковой системы Яндексили Гугл о правилах индексирования сайта.

Данный файл располагается в корневой папке сайта на сервере хостинг-провайдера.

Файл robots.txt может содержать:

• директивы для закрытия от индексации конкретных страниц или целых разделов сайта (директива disallow);
• директивы с адресом расположения файла sitemap.xml
• указаниена на основное зеркало сайта.

Пример содержимого файла robots.txt: