robots.txt

Тема в разделе "Google", создана пользователем VooDooManiac, 22 сен 2010.

Статус темы:
Закрыта.
  1. VooDooManiac

    VooDooManiac На форуме с: 27 окт 2009 Сообщения: 199

    Не могу осились роботс для гугла. Есть параметры ?limit ?limitstart и ?start у меня не получается их запретить для индексации. Пример:
    http://site.ua/tovari/smd-svetodiodi.html?limit=30&start=5
    эта страничка не должна быть в индексе, но должна быть http://site.ua/tovari/smd-svetodiodi.html?limit=25&start=25 Это вторая страничка в вритуамарте с ограничением 25 товаров на странице. все остальные варианты нужно запретить.
    Я сделал так:
    Disallow: /?limit=5
    Disallow: /?limit=10
    Disallow: /?limit=15
    Disallow: /?limit=30
    Disallow: /?limit=50
    Disallow: /?start=0
    Disallow: /?start=5
    Disallow: /?start=10
    Disallow: /?start=15
    Disallow: /?start=30

    Для яши помогло, а гоша клепает по 20 страниц каждый день, достал уже. Помогите!
  2. ruseo

    ruseo На форуме с: 28 май 2010 Сообщения: 188

  3. VooDooManiac

    VooDooManiac На форуме с: 27 окт 2009 Сообщения: 199

    ruseo, это я читал, гугл походу не поддерживает такие параметры. в настройках сайта есть возможность полностью запретить индексировать страницы с такими пар-ми, а мне нужно только некоторые...
  4. Tony_Stark

    Tony_Stark На форуме с: 8 июн 2010 Сообщения: 197

    Ну так оно и не должно закрыть. Ты закрыл не то. Тебе нужно закрыть вхождение в урле этого параметра, потому надо добавить звездочку.

    Disallow: /*?limit=5

    Звездочка говорит, что нужно исключить все урлы, в которых встречается строка ?limit=5. Можно без вопросительного знака, я думаю даже. Попробуй и так, и эдак.
    А, если запрещать так, как ты написал, то нужно весь урл запрещать:
    Disallow: /tovari/smd-svetodiodi.html?limit=30
    2 пользователям это понравилось.
  5. VooDooManiac

    VooDooManiac На форуме с: 27 окт 2009 Сообщения: 199

    Tony_Stark, Спасибо за ответ, только сейчас увидел. На серче то же самое подсказали, в итоге рабочий вариант:
    Allow: /*?limit=25&start=0
    Allow: /*?limit=25&start=25
    Allow: /*?limit=25&start=50
    Allow: /*?limit=25&start=75
    Allow: /*?limit=25&start=100
    Disallow: /*?limit=
  6. Tony_Stark

    Tony_Stark На форуме с: 8 июн 2010 Сообщения: 197

    Вообще, не надо ничего закрывать в роботс.тхт.
    Ибо, все закрытые страницы становятся черными дырами и ссылочный вес с них никуда не передается. Тем более плохо, если со страниц стоят ссылки на другие страницы, которые закрыты в роботсе.

    Закрываем мы страницы для того, что бы они не появлялись в индексе. Но, при этом теряем, зачастую, много веса.

    Можете зайти на www.opensiteexplorer.org, закинуть туда нужный вам сайт, нажать на вкладку Top Pages и посмотреть на страницы сайта. Бывает так, что на страницу ссылаются другие ресурсы, а она просто напросто закрыта в роботсе. Как пример: нашла какая-то девушка в интернет-магазине миленькие розовенькие босоножечки и советует подругам их на своем блоге. При этом, она сортировала товар в магазине. тогда ссылка которую она скопирует, будет содержать в себе какой-нить параметр sort, к примеру, который мы закрыли в роботсе, что бы он не появлялся в выдаче. И вес не передастся, к сожалению. Мы сами себе выкопали яму.

    Что с этим всем делать? Элементарно, дописываем всем страницам, которые не должны быть в индексе в <head> вот эту строчку:

    <head>
    <meta name="robots" content="noindex, follow" />
    </head>

    Вуаля. Страница не появляется в индексе, но не теряет вес.
    Робот проходит по всем ссылкам на странице, учитывает их при внутренней перелинковке :)
    То есть, вес такая страница примет, отдаст по внутренним ссылкам, но в выдаче не появится.

    Нормальный роботс на сегодняшний день должен выглядеть так:

    User-agent: *
    Disallow:

    Sitemap: http://www.yoursite.com/sitemap.xml

    Удачи :)
Similar Threads
  1. alexman30
    Ответов:
    17
    Просмотров:
    2.304
  2. Skolzage
    Ответов:
    2
    Просмотров:
    835
  3. Marketologov
    Ответов:
    1
    Просмотров:
    958
  4. White1267
    Ответов:
    10
    Просмотров:
    1.048
  5. [biskvit]
    Ответов:
    1
    Просмотров:
    3.497
Загрузка...
Статус темы:
Закрыта.