Вопрос по robots.txt

Тема в разделе "Общие вопросы оптимизации", создана пользователем Fish_su, 27 дек 2012.

Статус темы:
Закрыта.
  1. Fish_su

    Fish_su На форуме с: 9 мар 2011 Сообщения: 5

    Есть сайт на движке вебасист с кучей дублей. Хочу закрыть ненужные страницы от индексации в роботсе. Дубли имеют следующие адреса:

    http://wдаблюw.mysite.ru/category/sredstva/offset10/
    http://wдаблюw.mysite.ru/category/sredstva/?sort=name&direction=DESC
    http://wдаблюw.mysite.ru/category/sredstva/all/
    http://wдаблюw.mysite.ru/category/sredstva/?sort=name&direction=ASC
    http://wдаблюw.mysite.ru/category/sredstva/all/?sort=customers_rating&direction=DESC
    http://wдаблюw.mysite.ru/category/sredstva/?sort=customers_rating&direction=ASC

    В роботсе это должно выглядеть как-то так:
    User-agent: *
    Disallow: /offset10
    Disallow: /?sort=name&direction=DESC
    Disallow: /all
    Disallow: /?sort=name&direction=ASC
    Disallow: /?sort=customers_rating&direction=ASC

    Или можно как-то проще сделать?
  2. Marketologov

    Marketologov На форуме с: 6 фев 2011 Сообщения: 2.068

    User-agent: *
    Disallow: /category/sredstva/offset10
    Disallow: /category/sredstva/?sort=name&direction=DESC
    Disallow: /category/sredstva/all
    Disallow: /category/sredstva/?sort=name&direction=ASC
    Disallow: /category/sredstva/?sort=customers_rating&direction=ASC

    а лучше всего устранить причину по корой такие дубли возникают
  3. Fish_su

    Fish_su На форуме с: 9 мар 2011 Сообщения: 5

  4. Marketologov

    Marketologov На форуме с: 6 фев 2011 Сообщения: 2.068

    тогда вот так правильно:

    User-agent: *
    Disallow: /*offset10$

    все что заканчивается на offset10 индексироваться не будет
  5. Fish_su

    Fish_su На форуме с: 9 мар 2011 Сообщения: 5

    Т.е. чтоб убрать все ненужные мне странички нужно сделать так?

    Disallow: /category/sredstva/*offset10$
    Disallow: /category/sredstva/*?sort=name&direction=DESC$
    Disallow: /category/sredstva/*all$
    Disallow: /category/sredstva/*?sort=name&direction=ASC$
    Disallow: /category/sredstva/*?sort=customers_rating&direction=ASC$
  6. Marketologov

    Marketologov На форуме с: 6 фев 2011 Сообщения: 2.068

    Что бы запретить все ссылки заканчивающися на offset10, достаточно правила что я написал уже выше

    Disallow: /*offset10$

    что бы запретить ВСЕ заканчивающиеся на sort=name&direction=DESC$:

    Disallow: /*sort=name&direction=DESC$

    и т.п.
    только не запретите лишнего, усли движок генерирует такие ссылки, то необходимо сделать так что бы он их не создавал
Similar Threads
  1. VooDooManiac
    Ответов:
    5
    Просмотров:
    1.084
  2. alexman30
    Ответов:
    17
    Просмотров:
    2.310
  3. Pilot74
    Ответов:
    1
    Просмотров:
    468
  4. DanceCluber
    Ответов:
    3
    Просмотров:
    569
  5. МурадМ
    Ответов:
    4
    Просмотров:
    262
Загрузка...
Статус темы:
Закрыта.