32 869
Необходимые правила в файле robots.txt для CMS 1С-Битрикс
- Скопировать содержимое в файл robots.txt,
- example.com переименовать на название вашего домена,
- Загрузить полученный файл в корневой каталог вашего сайта.
User-agent: Yandex Disallow: /*index.php$ Disallow: /bitrix/ Disallow: /auth/ Disallow: /personal/ Disallow: */*search Disallow: /*/slide_show/ Disallow: /*/gallery/*order=* Disallow: /*print Disallow: /*register= Disallow: /*forgot_password= Disallow: /*change_password= Disallow: /*login= Disallow: /*logout= Disallow: /*auth= Disallow: /*?action= Disallow: /*action=ADD_TO_COMPARE_LIST Disallow: /*action=DELETE_FROM_COMPARE_LIST Disallow: /*action=ADD2BASKET Disallow: /*action=BUY Disallow: /*bitrix_*= Disallow: /*backurl=* Disallow: /*back_url* Disallow: /*COURSE_ID= Disallow: /*?COURSE_ID= Disallow: /*PAGEN_* Disallow: /*PAGE_NAME=user_post Disallow: /*PAGE_NAME=detail_slide_show Disallow: /*PAGE_NAME=search Disallow: /*PAGE_NAME=user_post Disallow: /*PAGE_NAME=detail_slide_show Disallow: /*SHOWALL Disallow: /*show_all= Host: example.com User-agent: * Disallow: /*index.php$ Disallow: /bitrix/ Disallow: /auth/ Disallow: /personal/ Disallow: */*search Disallow: /*/slide_show/ Disallow: /*/gallery/*order=* Disallow: /*print Disallow: /*register= Disallow: /*forgot_password= Disallow: /*change_password= Disallow: /*login= Disallow: /*logout= Disallow: /*auth= Disallow: /*?action= Disallow: /*action=ADD_TO_COMPARE_LIST Disallow: /*action=DELETE_FROM_COMPARE_LIST Disallow: /*action=ADD2BASKET Disallow: /*action=BUY Disallow: /*bitrix_*= Disallow: /*backurl=* Disallow: /*back_url* Disallow: /*COURSE_ID= Disallow: /*?COURSE_ID= Disallow: /*PAGEN_* Disallow: /*PAGE_NAME=user_post Disallow: /*PAGE_NAME=detail_slide_show Disallow: /*PAGE_NAME=search Disallow: /*PAGE_NAME=user_post Disallow: /*PAGE_NAME=detail_slide_show Disallow: /*SHOWALL Disallow: /*show_all= Sitemap: http://example.com/sitemap.xml
Дмитрий, а можно два вопроса?
1. Как поисковик при запрещенной пагинации индексировать товары на 2,3 и т.д страницах?
2. В чем суть отдельной секции для Яндекса, они же одинаковые, только Host у Яндекса, но его же можно прописать в *?
Спасибо заранее!
1. Каждый товар имеет свой уникальный УРЛ, который не закрывается от индексации. Закрываются только страницы, которые не несут никакой полезной информации для поисковиков, также данные страницы не приносят трафик. Первая страница раздела всегда открыта, например, «Ноутбуки Тошиба», она оптимизируется под запросы связанные с ноутбуками Тошиба, а уже страницы 2,3 и т.д. закрываются от индексации. Робот попадает на данные страницы через карту сайта, а также ссылки на данные товары с других страниц сайта. Но лучше не закрывать пагинацию в роботсе, это кардинальный метод, лучше сделать каноникал.
2. Были случаи, когда Яндекс игнорировал robots.txt, где не было отдельных правил для Яндекса.