Вопрос Будет ли робот яндекса загружать страницы из запрещенного раздела

Тема в разделе "Общие вопросы оптимизации", создана пользователем v0233, 4 мар 2012.

Статус темы:
Закрыта.
  1. v0233

    v0233 На форуме с: 27 дек 2011 Сообщения: 28

    Добрый день.
    Подскажите пожалуйста такой вопрос?
    У меня раздел "новости" закрыт от индекса в robots.txt
    Будет ли яндекс их загружать в раздел "Загружено роботом"
    Если да. То зачем он это делает, и туда лезет если ему запрещено?
  2. leshii

    leshii Модератор На форуме с: 4 сен 2011 Сообщения: 2.539 Команда форума

    Будет ли он туда лезть и качать закрытые страницы скорее всего можно узнать в логах сервера. robots.txt предназначен дл управления индексацией, поэтому "новости" просто не будут проиндексированы. А вот зачем ему лезть в закрытый раздел... из любопытства)
Статус темы:
Закрыта.