Карта сайта и robots.txt - вопрос №273399

права на просмотр или сокрытие документов задаются на вебсервере

если у Вас хостинг на Apache это можно сделать с помощью httpaccess

если IIS — c помощью web.config

боле подробные консультации в чате

ps мой основной профиль IIS, но если по Apache ни кто не подскажет — тоже разберемся ))

Эти файлы не стоит закрывать. Во первых — в них нет секретных данных, во вторых — как Вы будете отфильтровывать посетителей? ведь если бот зайдет — ему нужно открыть. Не делайте себе геморой из ничего.

robots.txt — трогать не вижу смысла. Имеет смысл переместить карту сайта, что бы не производился скан сайта для различных целей. Это делается проще простого- создайте на хостинге папку с произвольным названием, переместите туда файл sitemap.xml. Постел этого в панели вебмастера google и yandex пропишите относительный путь /папка/sitemap.xml 

Эти файлы — служебные файлы поисковых систем их присутсвие способствует продвижени, при правильной настройке  robots.txt. 

понятие ТОП растежимо. Есть ТОП 10, ТОП 50, ТОП 100 

Кроме того есть огромное колличество запросов. 

Нет смысла закрывать эти файлы. По сути и без карты сайта я могу просканировать ваш сайт. Если хотите закрыть сайт от всех  ставьте  Dissalow:/ в robots.txt. Нет сайта нет проблем. 

А по сути не городите лишние проблемы))) 

P.S. Dissalow:/ — закрывает сайт от поисковых машин. 

Не делайте ошибочных выводов! Настройте правильно  robots.txt, регулярно обновляйте  sitemap