убираю дубли в robots.txt

Тема в разделе "Общие вопросы оптимизации", создана пользователем spd, 13 мар 2013.

Статус темы:
Закрыта.
  1. spd

    spd На форуме с: 13 мар 2013 Сообщения: 11

    добрый день!
    подскажите, пожалуйста, что я не правильно делаю.

    есть страница, которую хочу убрать из индексирования:
    http://www.mysite.ru/index.php/2010-05-26-17-15-31

    при этом страница:
    http://www.mysite.ru/index.php/2010-05-26-17-15-31/56-um1035cl0
    должна индексироваться

    в robots.txt прописываю:
    Disallow: /2010-05-26-17-15-31$
    иду в Я, в сервисе удалить URL, ввожу:
    http://www.mysite.ru/index.php/2010-05-26-17-15-31

    получаю ответ:
    Нет оснований для удаления. Сервер не возвращает код 404, индексирование не запрещено ни в robots.txt, ни метатегом noindex.

    что я не правильно прописал в robots.txt?
  2. Marketologov

    Marketologov На форуме с: 6 фев 2011 Сообщения: 2.068

    нужно так:

    Disallow: /index.php/2010-05-26-17-15-31$
    1 человеку нравится это.
  3. spd

    spd На форуме с: 13 мар 2013 Сообщения: 11

    действительно заработало,
    спасибо!!!
  4. Tony_Stark

    Tony_Stark На форуме с: 8 июн 2010 Сообщения: 197

    Роботс.txt не поможет, закрывайте мета-тегом.
  5. leshii

    leshii Модератор На форуме с: 4 сен 2011 Сообщения: 2.539 Команда форума

    Tony_Stark, в google не поможет, но в яндексе вроде бы пока работает. Тем более речь о delurl.
  6. Сержа

    Сержа На форуме с: 20 дек 2011 Сообщения: 1.374

    Действительно, Гугл помещает в свои БД вообще всё, даже закрытое в роботсе. Но ИМХО эти страницы нигде не фигурируют и не учитываются.
Статус темы:
Закрыта.