Исключить страницы, кроме тех, что в sitemap

Тема в разделе "Яндекс", создана пользователем Marduh, 6 авг 2011.

Статус темы:
Закрыта.
  1. Marduh

    Marduh На форуме с: 12 сен 2009 Сообщения: 438

    Привет всем.
    Интересно, возможно ли дать ПС команду индексировать только те страницы, которые находятся в sitemap.xml файле? Ведь это упростило бы вообще многие проблемы с индексированием сайтов. Конечно, это было бы неплохо для тех сайтов, у которых карта сайта создается автоматически каждый день. Иногда проще сделать такую возможность, чем закрывать кучи дублей и т.д.
    Может напишем письмо создателям алгоритмов? :a23:
    Или такое уже есть? :a43:
  2. Razboyni4eG

    Razboyni4eG На форуме с: 6 апр 2011 Сообщения: 372

    Хех... robots.txt и meta нам в помощь :a25:
    А вообще, было бы клёво, если бы ввели в структуру robots.txt что-нибудь наподобие этого:
    User-agent: *
    Scan: sitemap.xml
    Disallow:
    Host: www.site.ru
Статус темы:
Закрыта.