Здравствуйте.
Странная конструкция, впервые такую вижу в robots.txt. По идее, при стандартных конфигурациях она не должна нести никакого смысла, т.к. ~/ — это будет ссылка на личную домашнюю папку пользователя в системе, а ссылка вида /~/ должна быть невалидной.
Единственно что приходит в голову, что может быть на данном веб-сервере настроен такой вариант, когда домашние папки пользователей настроены от корня, тогда, возможно, конструкция /~/ имеет смысл.
Например, вебсервер запущен от имени пользователя www, его домашняя папка /www и в ней лежит сайт.
В таком случае, возможно, конструкция вида disallow: /~/ приведет к исключению этой самой папки /www из индексации. Но честно говоря, я сомневаюсь что робот, получивший такую запись при сканировании сайта, сможет ее грамотно обработать. Не знаю, не видел именно такой записи ни разу.
Добрый день. Меня заинтересовал ваш ответ "Здравствуйте.
Странная конструкция, впервые такую вижу в robots.txt. По идее, при стандартных конфи..." на вопрос http://www.liveexpert.org/topic/view/2223622-zdravstvujte-chto-oznachaet-v-robots-napisanie-imenno-takoj-direktorii-disallow. Можно с вами обсудить этот ответ?