robots.txt

Тема в разделе "Общие вопросы оптимизации", создана пользователем White1267, 28 сен 2011.

Статус темы:
Закрыта.
  1. White1267

    White1267 На форуме с: 15 июн 2011 Сообщения: 47

    Здравствуйте, всё пытаюсь скрыть все дубли,много перечитал в интернете информации ничего дельного. Скинули мне robots.txt мол загрузи и всё. Но так как я понял к индексации только главная страница всё закрыта, помогите вытащить всё нужное

    User-agent: *
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: */trackback
    Disallow: */*/trackback
    Disallow: */*/feed/*/
    Disallow: */feed
    Disallow: /*?*
    Disallow: /tag

    User-agent: Yandex
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: */trackback
    Disallow: */*/trackback
    Disallow: */*/feed/*/
    Disallow: */feed
    Disallow: /*?*
    Disallow: /tag
    Host: mon**.ru
    Sitemap: http://mon**.ru/sitemap.xml.gz
    Sitemap: http://mon**.ru/sitemap.xml
  2. leshii

    leshii Модератор На форуме с: 4 сен 2011 Сообщения: 2.539 Команда форума

    а что нужное? В смысле выбрать на свой вкус?
  3. White1267

    White1267 На форуме с: 15 июн 2011 Сообщения: 47

    )) не не, у меня здесь всё закрыто на индексацию, кроме главной страницы! вот нужно исправить что бы страницы были открыты
  4. leshii

    leshii Модератор На форуме с: 4 сен 2011 Сообщения: 2.539 Команда форума

    Почитайте здесь и здесь. И, впрочем, вот. Открыть страницы - это означает убрать Disallow, конкретнее ответить на такой вопрос не вижу возможности.
  5. Kovtun

    Kovtun SEO На форуме с: 2 сен 2009 Сообщения: 2.845

    White1267, просто откройте эту страницу http://webmaster.yandex.ru/check.xml и посмотрите, какие страницы уже индексируются и какие из них вам не нужны. Потом, дайте сюда ссылку (можно без домена) на эту "ненужную" страницу. Можно закрыть либо только ее, либо все подобные страницы на сайте.

    leshii, все-таки поиск по форуму через google по-лучше будет, не кажется? Даже по слову robots выдает более хорошие результаты.
  6. leshii

    leshii Модератор На форуме с: 4 сен 2011 Сообщения: 2.539 Команда форума

  7. White1267

    White1267 На форуме с: 15 июн 2011 Сообщения: 47

    ну вот к примеру как закрыть от индексации страницы такого типа http://mon**.ru/?m=20110928 что надо в роботе прописать?
  8. leshii

    leshii Модератор На форуме с: 4 сен 2011 Сообщения: 2.539 Команда форума

    Disallow: /*?m=*
  9. Kovtun

    Kovtun SEO На форуме с: 2 сен 2009 Сообщения: 2.845

    White1267, если m является параметром, а 20110928 переменной, которая например, отслеживает с какого ресурса был переход и от того или иного номера не меняется содержимое страницы, то используйте директиву Clean-Param. Подробнее..
    В вашем примере после всех Disallow надо добавить:
    Через какое-то время после этого в индексе останется только одна страница с этим параметром. После того, как закончите работу над роботс, проверьте его работу через панель Яндекса. Если сомневаетесь, то напишите письмо через панель (т.е. залогиньтесь сначала), они с удовольствием скажут где ошибка.
  10. leshii

    leshii Модератор На форуме с: 4 сен 2011 Сообщения: 2.539 Команда форума

    это намного больше дату напоминает. В таком случае тоже clean-param или уже от контента отталкиваться??
  11. Kovtun

    Kovtun SEO На форуме с: 2 сен 2009 Сообщения: 2.845

    leshii,ну судя по сообщению White1267,ему нужно целиком избавиться от всех страниц, содержащих m. Ну, в принципе я немного неправильно сказал, т.к. уйдут все страницы с таким параметром. Т.е. это четко говорит ПС о том, что параметр никак не влияет на страницу. Т.е. если например страница /page1.php?m=34934, то после clean-param останется только /page1.php. При этом надо учитывать, что в выдачу все равно может попасть первый вариант, если к /page1.php не подобраться, т.е. если на сайте нет ссылок на page1.php (и в карте сайта), будет задействован вариант /page1.php?m=34934. Ну, я думаю, что этого там нет. Думаю, что ссылки на все нужные страницы доступны для робота.

    А в Google.ru для этих дел существует раздел в панели, в конфигурации сайта/параметры URL. Там гугл сам находит параметры (можно и самому вписать, если еще не нашел) и предлагает на выбор - что с ними делать. Также можно указывать за что они отвечают.
    Если увидишь там параметр m, то нажимаешь "изменить" и выбираешь "никакие URL".

    P.s. надо хорошо знать свой сайт, чтобы сделать хороший robots и правильно настроить индексацию.
    1 человеку нравится это.
Similar Threads
  1. VooDooManiac
    Ответов:
    5
    Просмотров:
    1.544
  2. alexman30
    Ответов:
    17
    Просмотров:
    2.305
  3. Skolzage
    Ответов:
    2
    Просмотров:
    835
  4. Marketologov
    Ответов:
    1
    Просмотров:
    958
  5. [biskvit]
    Ответов:
    1
    Просмотров:
    3.497
Загрузка...
Статус темы:
Закрыта.