Файл robots.txt для TYPO3 CMS

Необходимые правила в файле robots.txt для CMS TYPO3

1. Скопировать содержимое в файл robots.txt,
2. example.com переименовать на название вашего домена,
3. Загрузить полученный файл в корневой каталог вашего сайта.

User-agent: Yandex
Disallow: /fileadmin/website/notimportant/    
Disallow: /flow/drafts/
Disallow: /neos/drafts/
Disallow: /t3lib/                            
Disallow: /typo3/                            
Disallow: /typo3conf/                         
Disallow: /typo3temp/    
Disallow: /typo3cms/drafts/                 
Disallow: /*?id=*                                                   
Host: example.com

User-Agent: *
Disallow: /fileadmin/website/notimportant/    
Disallow: /flow/drafts/
Disallow: /neos/drafts/
Disallow: /t3lib/                            
Disallow: /typo3/                            
Disallow: /typo3conf/                         
Disallow: /typo3temp/    
Disallow: /typo3cms/drafts/                 
Disallow: /*?id=*                                                   
Sitemap: http://www.example.com/sitemap.xml