Подскажите что не так с данным robots.txt ?

Тема в разделе "Общие вопросы оптимизации", создана пользователем codjer, 22 фев 2016.

Статус темы:
Закрыта.
  1. codjer

    codjer На форуме с: 5 фев 2016 Сообщения: 5

    Привет, в панеле для вебмастеров гугл пишет. На ресурсе выявлены серьезные проблемы. Некоторые важные страницы блокируются в файле robots.txt. Что мешает? Я так понимаю строка Disallow: / Нужно удалить или не трогать, она вроде блокирует MJ12bot? что это правда такое я не знаю, robots.txt писал не я.

    User-agent: Yandex
    Sitemap: http://site.ru/sitemap.xml
    Host: http://site.ru/

    User-agent: Googlebot
    Sitemap: http://site.ru/sitemap.xml

    User-agent: MJ12bot
    Disallow: /

    User-agent: *
    Sitemap: http://site.ru/sitemap.xml
  2. mark3000

    mark3000 На форуме с: 7 окт 2010 Сообщения: 482

    Проверьте у яндекса. Я не вижу смысла для каждой ПС писать свои директивы, если они одинаковы.
    Директиву Host укажите без http://
Статус темы:
Закрыта.