Здравствуйте! У меня проблема и я никак не могу разобраться! Я никак не могу зарегистрировать свой сайт в поисковой системе Яндекс! Яндекс не - вопрос №2027183

добавляет мой сайт в поисковую систему, пишет такую ошибку: Указанный URL запрещен к индексации в файле robots.txt на сайте planetfe.ru. вот посмотрите: shot.qip.ru/00QqY1-51ZeOr5KA/

Ответы

10.07.16
Вам нужно подключиться по ftp к вашему сайту (информацию о том как это сделать вам присылает ваш провадер при регистрации хостинга) и удалить строку disallow: /.
10.07.16
CMS у вас вордпресс, посмотрите в Настройки — Чтение, там внизу может быть поставили галочку Видимость для поисковых систем- Попросить поисковые системы не индексировать сайт, уберите если стоит. Файл robots.txt должен быть типа такого —
User-agent: Yandex
Disallow: /cgi-bin #
Disallow: /private #
Disallow: /old #
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Allow: /wp-content/uploads/
Host: margoritka.ru
Sitemap: margoritka.ru/sitemap.xml

User-agent: YandexImages
Allow: /wp-content/uploads/

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: StackRambler
Disallow: /cgi-bin #
Disallow: /private #
Disallow: /old #
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Allow: /wp-content/uploads/
Sitemap: margoritka.ru/sitemap.xml

User-agent: Aport
Disallow: /cgi-bin #
Disallow: /private #
Disallow: /old #
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Allow: /wp-content/uploads/
Sitemap: margoritka.ru/sitemap.xml

User-agent: ia_archiver
Disallow: /cgi-bin #
Disallow: /private #
Disallow: /old #
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Allow: /wp-content/uploads/
Sitemap: margoritka.ru/sitemap.xml.gz

User-agent: Googlebot-Image
Disallow: /cgi-bin #
Disallow: /private #
Disallow: /old #
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Allow: /wp-content/uploads/
Sitemap: margoritka.ru/sitemap.xml

User-agent: Yahoo-MMCrawler
Disallow: /cgi-bin #
Disallow: /private #
Disallow: /old #
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Allow: /wp-content/uploads/
Sitemap: margoritka.ru/sitemap.xml

User-agent: psbot
Disallow: /cgi-bin #
Disallow: /private #
Disallow: /old #
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Allow: /wp-content/uploads/
Sitemap: margoritka.ru/sitemap.xml

User-agent: Mediapartners-Google
Disallow: /cgi-bin #
Disallow: /private #
Disallow: /old #
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Allow: /wp-content/uploads/
Sitemap: margoritka.ru/sitemap.xml

User-agent: *
Disallow: /cgi-bin #
Disallow: /private #
Disallow: /old #
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Allow: /wp-content/uploads/
Sitemap: margoritka.ru/sitemap.xml

Замените мой URL на свой и закачайте в корень сайта.
10.07.16
Ваш сайт просто не открыт для индексации, а не то, чтобы Яндекс его не хочет принимать. Система управления сайтом у вас — wordpress, для нее robots.txt следующего вида:

User<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">-</span>agent<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">:</span> <span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">*</span>Disallow<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">:</span> <span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">/</span>wp<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">-</span>adminDisallow<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">:</span> <span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">/</span>wp<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">-</span>includesDisallow<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">:</span> <span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">/</span>wp<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">-</span>content<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">/</span>pluginsDisallow<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">:</span> <span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">/</span>wp<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">-</span>content<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">/</span>cacheDisallow<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">:</span> <span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">/</span>wp<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">-</span>content<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">/</span>themesDisallow<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">:</span> <span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">/</span>trackbackDisallow<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">:</span> <span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">*/</span>trackbackDisallow<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">:</span> <span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">*/*/</span>trackbackDisallow<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">:</span> <span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">*/*/</span>feed<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">/*/</span>Disallow<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">:</span> <span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">*/</span>feedDisallow<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">:</span> <span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">/*</span>?<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">*</span>Disallow<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">:</span> <span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">/</span>tag User<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">-</span>agent<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">:</span> YandexDisallow<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">:</span> <span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">/</span>wp<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">-</span>adminDisallow<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">:</span> <span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">/</span>wp<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">-</span>includesDisallow<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">:</span> <span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">/</span>wp<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">-</span>content<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">/</span>pluginsDisallow<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">:</span> <span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">/</span>wp<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">-</span>content<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">/</span>cacheDisallow<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">:</span> <span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">/</span>wp<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">-</span>content<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">/</span>themesDisallow<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">:</span> <span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">/</span>trackbackDisallow<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">:</span> <span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">*/</span>trackbackDisallow<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">:</span> <span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">*/*/</span>trackbackDisallow<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">:</span> <span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">*/*/</span>feed<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">/*/</span>Disallow<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">:</span> <span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">*/</span>feedDisallow<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">:</span> <span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">/*</span>?<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">*</span>Disallow<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">:</span> <span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">/</span>tagHost<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">:</span> ваш_сайт<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">.</span>ru Sitemap<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">:</span> http<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">://</span>ваш_сайт<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">.</span>ru <span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">/</span>sitemap<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">.</span>xml<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">.</span>gzSitemap<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">:</span> http<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">://</span>ваш_сайт<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">.</span>ru <span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">/</span>sitemap<span style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: #808080;">.</span>xml
14.08.16

✯ Анна ✯

Читать ответы

Павел Викторович

Читать ответы
Посмотреть всех экспертов из раздела Технологии > Продвижение сайта, SEO
Пользуйтесь нашим приложением Доступно на Google Play Загрузите в App Store