Помогите пожалуйста прописать директиву Disallow в robots.txt. для дублей страниц. - вопрос №1624390

Основная страница
kran-manipulyator.dp.ua/shop/shlakoblok_v_dnepropetrovske.php

дубли:
1)http://kran-manipulyator.dp.ua/shop/shlakoblok_v_dnepropetrovske.php/
2)http://kran-manipulyator.dp.ua/shop/shlakoblok_v_dnepropetrovske/sort2/

После того как прописано, это должно сразу отобразиться в гугл веб мастер?

Ответы

User-agent: Yandex<br Allow: http://kran-manipulyator.dp.ua/shop/shlakoblok_v_dnepropetrovske.phpDisallow: http://kran-manipulyator.dp.ua/shop/shlakoblok_v_dnepropetrovske.php/Disallow: http://kran-manipulyator.dp.ua/shop/shlakoblok_v_dnepropetrovske/sort2/ 
14.09.15
Здравствуйте.
Для страниц, которые дублируются за счет слеша /, необходимо настраивать 301 редирект в файле .htaccess. Блокировать их через файл robots.txt является неправильным. Если у Вас на сайте будет (или есть) сотни страниц, то каждая будет иметь свой дубль, и Ваш файл robots.txt разрастется до неимоверных размеров.
С уважением, Екатерина
14.09.15

для файла .htaccess
универсальный метод перенаправления со старой страниц (дубля) на новую страницу (основную):
RewriteCond %{REQUEST_URI} ^/страница_сайта_старая$
RewriteRule ^(.*)$ /страница_сайта_новая [R=301,L]

Если не получится, надо поискать в Гугле варианты написания 301 редиректов, либо к поддержке хостинга обратиться.

11.01.16
Посмотреть всех экспертов из раздела Технологии > Продвижение сайта, SEO
Пользуйтесь нашим приложением Доступно на Google Play Загрузите в App Store