Файл robots.txt для DataLife Engine

Необходимые правила в файле robots.txt для CMS DataLife Engine

1. Скопировать содержимое в файл robots.txt,
2. example.com переименовать на название вашего домена,
3. Загрузить полученный файл в корневой каталог вашего сайта.

User-agent: Yandex
Disallow: /*print
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: */page/*
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /backup/
Disallow: /newposts/
Disallow: /lastnews/
Disallow: /catalog/
Disallow: /tags/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /statistics.html
Disallow: /addnews.html
Disallow: /rules.html
Disallow: /dle-rules-page.html
Disallow: /banners/
Disallow: /user/
Disallow: /20*
Disallow: /*?*
Host: example.com

User-agent: *
Disallow: /*print
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /page/
Disallow: */page/*
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /backup/
Disallow: /newposts/
Disallow: /lastnews/
Disallow: /catalog/
Disallow: /tags/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /statistics.html
Disallow: /addnews.html
Disallow: /rules.html
Disallow: /dle-rules-page.html
Disallow: /banners/
Disallow: /user/
Disallow: /20*
Disallow: /*?*
Sitemap: http://example.com/sitemap.xml