Robots.txt закрыть подкатегории

Тема в разделе "Общие вопросы оптимизации", создана пользователем DanceCluber, 11 июл 2014.

Статус темы:
Закрыта.
  1. DanceCluber

    DanceCluber На форуме с: 26 фев 2011 Сообщения: 148

    site.ru/photo - должно быть разрешено для индексации

    а
    site.ru/photo/slon
    site.ru/photo/kot
    ..
    и т.д. все что содержится в /photo нужно запретить к индексации.

    Напомните пожалуйста как это сделать?
  2. Avatar

    Avatar Администратор На форуме с: 6 авг 2012 Сообщения: 656 Команда форума

    Вот так:
    Код:
    User-agent: *
    Allow: /
    Disallow: /photo
    Allow: /photo$
    DanceCluber нравится это.
  3. DanceCluber

    DanceCluber На форуме с: 26 фев 2011 Сообщения: 148

    А вот эта строчка зачем?
    Allow: /
  4. Avatar

    Avatar Администратор На форуме с: 6 авг 2012 Сообщения: 656 Команда форума

    Можете попробовать без нее, только в валидаторе обязательно проверьте. Рабочий вариант под вашу задачу я вам дал (тестировал его в валидаторе robots.txt от Яндекс.Вебмастер), проверять вариант без верхней строчки уже лень. Все в ваших руках.
    DanceCluber нравится это.
Статус темы:
Закрыта.