Закрытие страниц и дублей страниц с помощью robots.txt

Здравствуйте. Я планирую установить на свой сайт приложения:

community builder (для регистрации пользователей) и fireboard (форум). Как это отразится на дублях страниц (думаю что их количество значительно увеличится), и как с этим бороться. Подскажите как закрывать эти дубли в роботс, не будешь же каждую по отдельности запрещать. Может есть другие методы ( с помощью .htaccess например)

Ответы

Добрый вечер.

При добавлении новых файлов конечно увеличится размер диска и если задействована база, то ее тоже. Дубляж страниц не появится, если конечно у Вас не было старого форума.

Для robots.txt — характерно, поисковая выдача (поисковики ищут данные на сайте и ндифицируют его и добавляют информацию).

Так что, форум должен быть открыт для поисковиков. А приложения по регистрации пользователей — может, быть закрыто для поисковиков.

А код .htaccess лучше не трогать, если не знаете как с ним обращаться. Данный файл для управление всем сайтом, неловкая правка данного сайта и весь сайт может закрыться.

Так что, смотрите для поисковиков лучше открыть нужные данные.  

24.03.12

Вечер добрый.

Для этого нужно глянуть на форум, на адреса, которые он генерит.

В общем это просто — смотрите, если у Вас статичтические адреса (например, сайт.рф\форум\смена_ пароля\) и динамические типа сайт.рф\форум\index.php?showthreads$552_page_14, то всего лиш закрывате динамические таким образом disallow: \index.php?*. знак зведочка — значит все адреса с началом index.php? робот трогать не будет. А community builder сразу закрывайте от индексации — там нет страниц, в которых нужно ковыряться роботу. Также советую каптчу закрыть, если есть.

если хотите — могу посмотреть. адрес только нужно сайта.

24.03.12
Рекомендуем личную консультацию

Александр

Восстановление работы windows, установка и настройка программ, установка драйверов, настройка Wi-Fi, лечение вирусов и т. д.
Посмотреть всех экспертов из раздела Технологии > Продвижение сайта, SEO
Пользуйтесь нашим приложением Доступно на Google Play Загрузите в App Store