Файл robots.txt для HostCMS

Необходимые правила в файле robots.txt для CMS HostCMS

1. Скопировать содержимое в файл robots.txt,
2. example.com переименовать на название вашего домена,
3. Загрузить полученный файл в корневой каталог вашего сайта.

User-agent: Yandex

Disallow: /404/

Disallow: /403/
Disallow: /admin
Disallow: /search

Disallow: captcha.php

Disallow: download_file.php
Host: example.com

User-agent: *
Disallow: /404/

Disallow: /403/
Disallow: /admin
Disallow: /search

Disallow: captcha.php

Disallow: download_file.php
Sitemap: http://example.com/sitemap.xml