robots.txt для MODx

Cоставляем необходимый для правильной индексации сайта файл robots.txt (он же «роботс») для CMS MODx Revo (Revolution) и Evo (Evolution).

В этих CMS тоже существует проблема дублей, пусть и не очень существенная, тем более закрыть эти дубли от индексации при помощи robots.txt не составит абсолютно никаких проблем.

Для начала, не забываем включить ЧПУ в настройках сайта.

robots.txt для MODx Revo

User-agent: *
Disallow: /manager/
Disallow: /assets/components/
Disallow: /core/
Disallow: /connectors/
Disallow: /index.php
Disallow: *?

Host: сайт.ru

Sitemap: сайт.ru/sitemap.xml

Советы по поводу составления «роботс» для CMS MODx

• index.php — это дубль главной страницы сайта
• с помощью *? мы удаляем дубли для всех страниц
• Sitemap желательно не указывать в файле robots.txt, потому существуют не очень хорошие боты, которые таким образом парсят ваши сайты, используя эту директиву.
  Для нормальных поисковых систем карту сайта можно, при желании, загрузить через панель вебмастера. Но и это не так важно