Директивы disallow и allow

СайтАктивСловарь терминовДирективы disallow и allow

Disallow

Disallow – директива, запрещающая индексацию каких-либо страниц, разделов, подразделов, отдельных файлов и т.д. в файле robots.txt.

Это наиболее часто используемая директива, она используется при необходимости исключить из индекса следующие данные:

страницы с результатами поиска на сайте;
данные посещаемости ресурса;
страницы с конфиденциальными данными;
страницы, содержащие персональные данные пользователей;
разные логи;
сервисные страницы баз данных;
дубли страниц.

Примеры директивы Disallow:

Закрыть весь сайт от индексации:

Disallow: /

Запретить обход страниц, адрес которых начинается с /category:

Disallow: /category.

Для страниц, которые нужно закрыть от индексации, если их адреса содержат GET-параметры, желательно использовать директиву Clean-param, а не Disallow.

Причина заключается в том, что при использовании Disallow могут быть не выявлены дублированные адреса ссылки без параметра, и переданы какие-либо показатели запрещенных страниц. Директива Clean-param работает только для роботов Яндекса.

Allow

В отличие от Disallow, эта директива разрешает индексацию указанных страниц, разделов или файлов сайта.

Окончательное решение о посещении сайта принимают поисковые роботы, но эта директива дополнительно призывает их.

Примеры директивы allow:

Открыть доступ к индексированию определенной HTML страницы:

Allow: /page.html

Совместное применение директив

Поисковые системы используют Allow и Disallow из одного User-agent блока последовательно, сортируя их по длине префикса URL, начиная от меньшего к большему.

Если для конкретной страницы веб-сайта подходит применение нескольких правил, поисковый бот выбирает последний из списка. Поэтому порядок написания директив в robots никак не сказывается на их использовании роботами.
При этом следует помнить, что, если директивы имеют одинаковую длину префиксов и при этом конфликтуют между собой, то предпочтительнее будет Allow.