Закрытие страниц и дублей страниц с помощью robots.txt - вопрос №64881

Добрый вечер.

При добавлении новых файлов конечно увеличится размер диска и если задействована база, то ее тоже. Дубляж страниц не появится, если конечно у Вас не было старого форума.

Для robots.txt — характерно, поисковая выдача (поисковики ищут данные на сайте и ндифицируют его и добавляют информацию).

Так что, форум должен быть открыт для поисковиков. А приложения по регистрации пользователей — может, быть закрыто для поисковиков.

А код .htaccess лучше не трогать, если не знаете как с ним обращаться. Данный файл для управление всем сайтом, неловкая правка данного сайта и весь сайт может закрыться.

Так что, смотрите для поисковиков лучше открыть нужные данные.  

Вечер добрый.

Для этого нужно глянуть на форум, на адреса, которые он генерит.

В общем это просто — смотрите, если у Вас статичтические адреса (например, сайт.рф\форум\смена_ пароля\) и динамические типа сайт.рф\форум\index.php?showthreads$552_page_14, то всего лиш закрывате динамические таким образом disallow: \index.php?*. знак зведочка — значит все адреса с началом index.php? робот трогать не будет. А community builder сразу закрывайте от индексации — там нет страниц, в которых нужно ковыряться роботу. Также советую каптчу закрыть, если есть.

если хотите — могу посмотреть. адрес только нужно сайта.