Непонятки взаимодействия ПС с sitemap и robots

Тема в разделе "Общие вопросы оптимизации", создана пользователем tobler, 5 май 2013.

Статус темы:
Закрыта.
  1. tobler

    tobler На форуме с: 5 май 2013 Сообщения: 1

    Прошу помочь разобраться в ситуации : в каталоге есть динамические страницы, в роботе все они кроме первых страниц закрыты от индексирования и не прописаны в sitemap. Проверка файла robots дает все предполагаемые (запланированные) результаты : первые динамические страницы открыты, а все остальные - закрыты. Но, в выдаче Гугла первая страница выдается как проиндексированная, но без описания. Выдает : "Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Подробнее..."

    Почему так ? И как с этим бороться ?
    Help? please.............
    Спасибо !
  2. Chudenkov

    Chudenkov На форуме с: 12 ноя 2010 Сообщения: 1.915

    Хороший вопрос, который коснулся даже сайта такого масштаба (см. скриншот). Пока могу предположить, что Google позволяет индексировать подобные страницы, считая их нужными. С официальным заявлением от представителей Google я еще не сталкивался.

    фотография.PNG
  3. iMessi89

    iMessi89 На форуме с: 19 июн 2012 Сообщения: 979

    tobler,гугл учитывает роботс, но в самом саппорте гугла для вебмастеров написано что роботс не является первостепенным источником для запрета индексирования страниц с определенными гет-параметрами. Попробуйте в панели вебмастеров во вкладке Настройки URL прописать параметры индексирования определенных страниц с динамическими гет-параметрами.
Статус темы:
Закрыта.