Robots.txt

Robots.txt — файл с инструкциями для поисковой системы Яндексили Гугл о правилах индексирования сайта.

Данный файл располагается в корневой папке сайта на сервере хостинг-провайдера.

Файл robots.txt может содержать:

• директивы для закрытия от индексации конкретных страниц или целых разделов сайта (директива disallow);
• директивы с адресом расположения файла sitemap.xml
• указание на на основное зеркало сайта.

Услуги, связанные с термином:

• SEO-продвижение сайтов
• Аудит сайта
• Продвижение сайтов в ТОП
• Базовая оптимизация