Файл robots.txt для 1С-Битрикс

33 076

Необходимые правила в файле robots.txt для CMS 1С-Битрикс

  1. Скопировать содержимое в файл robots.txt,
  2. example.com переименовать на название вашего домена,
  3. Загрузить полученный файл в корневой каталог вашего сайта.

User-agent: Yandex
Disallow: /*index.php$
Disallow: /bitrix/
Disallow: /auth/
Disallow: /personal/
Disallow: */*search
Disallow: /*/slide_show/
Disallow: /*/gallery/*order=*
Disallow: /*print
Disallow: /*register=
Disallow: /*forgot_password=
Disallow: /*change_password=
Disallow: /*login=
Disallow: /*logout=
Disallow: /*auth=
Disallow: /*?action=
Disallow: /*action=ADD_TO_COMPARE_LIST
Disallow: /*action=DELETE_FROM_COMPARE_LIST
Disallow: /*action=ADD2BASKET
Disallow: /*action=BUY
Disallow: /*bitrix_*=
Disallow: /*backurl=*
Disallow: /*back_url*
Disallow: /*COURSE_ID=
Disallow: /*?COURSE_ID=
Disallow: /*PAGEN_*
Disallow: /*PAGE_NAME=user_post
Disallow: /*PAGE_NAME=detail_slide_show
Disallow: /*PAGE_NAME=search
Disallow: /*PAGE_NAME=user_post
Disallow: /*PAGE_NAME=detail_slide_show
Disallow: /*SHOWALL
Disallow: /*show_all=
Host: example.com

User-agent: *
Disallow: /*index.php$
Disallow: /bitrix/
Disallow: /auth/
Disallow: /personal/
Disallow: */*search
Disallow: /*/slide_show/
Disallow: /*/gallery/*order=*
Disallow: /*print
Disallow: /*register=
Disallow: /*forgot_password=
Disallow: /*change_password=
Disallow: /*login=
Disallow: /*logout=
Disallow: /*auth=
Disallow: /*?action=
Disallow: /*action=ADD_TO_COMPARE_LIST
Disallow: /*action=DELETE_FROM_COMPARE_LIST
Disallow: /*action=ADD2BASKET
Disallow: /*action=BUY
Disallow: /*bitrix_*=
Disallow: /*backurl=*
Disallow: /*back_url*
Disallow: /*COURSE_ID=
Disallow: /*?COURSE_ID=
Disallow: /*PAGEN_*
Disallow: /*PAGE_NAME=user_post
Disallow: /*PAGE_NAME=detail_slide_show
Disallow: /*PAGE_NAME=search
Disallow: /*PAGE_NAME=user_post
Disallow: /*PAGE_NAME=detail_slide_show
Disallow: /*SHOWALL
Disallow: /*show_all=
Sitemap: http://example.com/sitemap.xml
комментария 2
  1. Дмитрий, а можно два вопроса?
    1. Как поисковик при запрещенной пагинации индексировать товары на 2,3 и т.д страницах?
    2. В чем суть отдельной секции для Яндекса, они же одинаковые, только Host у Яндекса, но его же можно прописать в *?

    Спасибо заранее!

    • 1. Каждый товар имеет свой уникальный УРЛ, который не закрывается от индексации. Закрываются только страницы, которые не несут никакой полезной информации для поисковиков, также данные страницы не приносят трафик. Первая страница раздела всегда открыта, например, «Ноутбуки Тошиба», она оптимизируется под запросы связанные с ноутбуками Тошиба, а уже страницы 2,3 и т.д. закрываются от индексации. Робот попадает на данные страницы через карту сайта, а также ссылки на данные товары с других страниц сайта. Но лучше не закрывать пагинацию в роботсе, это кардинальный метод, лучше сделать каноникал.
      2. Были случаи, когда Яндекс игнорировал robots.txt, где не было отдельных правил для Яндекса.

Добавить комментарий

Войти с помощью: 


Обратный звонок
[]
1 Step 1
Как Вас зовут?your full name
Номер телефона для связиyour full name
Адрес вашего сайтаyour full name
Времяof appointment
Previous
Next
×