Консультация по robots

Тема в разделе "Общие вопросы оптимизации", создана пользователем mckey, 26 мар 2014.

Статус темы:
Закрыта.
  1. mckey

    mckey На форуме с: 7 янв 2011 Сообщения: 48

    Здравствуйте. Ситуация такова.
    Интернет-магазин. В категории расположено большое количество однотипных товаров. Минимум описания на конечных страницах продукта. По большому счету, они нужны только для оформления покупки. Хочу запретить их к индексации.
    Страница каталога -
    http://sitename.ru/osvetitelnoe-oborudovanie/svetofiltry/svetofiltry-cotech/
    Страница продукта -
    http://sitename.ru/osvetitelnoe-oborudovanie/svetofiltry/svetofiltry-cotech/cotech-001/
    Вот таких страниц очень много, они пустые и их надо запретить к индексации.
    Подскажите, пожалуйста, как правильно использовать директиву 'Disallow' в этом случае?
    Заранее благодарен!

    P.S.
    Буду признателен если кто подскажет, где поискать правильный шаблон robots.txt для "shop script 5"
  2. Denis

    Denis На форуме с: 11 янв 2013 Сообщения: 150

    Вы хотите весь раздел запретить индексации?
  3. mckey

    mckey На форуме с: 7 янв 2011 Сообщения: 48

    На сайте большинство товара с описанием, картинками и большой ценой. Там все в порядке.
    В таких же разделах, подобных тому, что я описал выше, много дешевой мелочевки. Там достаточно на странице каталога (/svetofiltry-cotech/) сделать общее описание, один нормальный контент для данного бренда и данной продукции. ЭТА страница индексироваться должна.
    А вот все, что этот каталог содержит (сотни позиций практически без контента) должны отсекаться.
    Т. е.
    http://sitename.ru/osvetitelnoe-oborudovanie/svetofiltry/svetofiltry-cotech/ - роботы видят, а
    http://sitename.ru/osvetitelnoe-oborudovanie/svetofiltry/svetofiltry-cotech/cotech-001/
    http://sitename.ru/osvetitelnoe-oborudovanie/svetofiltry/svetofiltry-cotech/cotech-002/
    http://sitename.ru/osvetitelnoe-oborudovanie/svetofiltry/svetofiltry-cotech/cotech-002/ и т.д. - нет
    --- добавлено: 26 мар 2014 в 12:35 ---
    internshop13, я ответил на ваш вопрос?
  4. _Price_

    _Price_ На форуме с: 30 окт 2013 Сообщения: 36

    mckey, попробуйте команду:

    Она запретит к индексу все урл адреса которые начинаются с буквы "c" каталога /svetofiltry-cotech/
    Можно добавить команду и для других каталогов.

    Наглядный пример:
    http://site.ru/osvetitelnoe-oborudovanie/katalog/podkatalog/mysor.html

    В robots.txt заносим команду:

    Т.е. просто запрещаем адреса, которые в конце (после последнего слеша) содержат букву "m".

    Для проверки или экспериментов рекомендую использовать сервис от Яндекс.
  5. mckey

    mckey На форуме с: 7 янв 2011 Сообщения: 48

    Оригинально! То что надо! Спасибо большое!
  6. Гончаров Кирилл

    Гончаров Кирилл На форуме с: 4 мар 2014 Сообщения: 131

    Прошу прощения за вопрос не в тему: Зачем запрещать к индексации то. что можно индексировать, перелинковать и вес передать на нужную Вам страницу. ИМХО Запрет не всегда хорошо влияет на продвижение сайта.
  7. mckey

    mckey На форуме с: 7 янв 2011 Сообщения: 48

    Все правильно. Просто новый сайт. Порядка 6000 новых страниц. На некоторых кроме названия товара и его цены никакого контента нет. Другими словами - даже если страницы проиндексируются, в топ они наверняка не попадут. Зачем отвлекать поисковики от действительно важных страниц?
    Другое дело - после того как проиндексируется "важняк", можно снять запрет. Потому как некоторые страницы идут по такому низко микрочастотному запросу, что попадают в топ даже без контента. Ну, просто нет нигде)))
Similar Threads
  1. glitter_zip
    Ответов:
    3
    Просмотров:
    1.184
  2. odobek
    Ответов:
    28
    Просмотров:
    2.066
  3. feRzeq
    Ответов:
    3
    Просмотров:
    638
  4. Анна
    Ответов:
    2
    Просмотров:
    453
  5. kirill1210
    Ответов:
    1
    Просмотров:
    449
Загрузка...
Статус темы:
Закрыта.