Все о файле robots.txt по-русски

Тема в разделе "Общие вопросы оптимизации", создана пользователем Антоша Хороший, 25 май 2010.

Статус темы:
Закрыта.
  1. GiTaNeS

    GiTaNeS Гость На форуме с: Сообщения: 0

    Здравствуйте !!!
    Перед постановкой вопроса хочу предупредить, что я совсем не ГУРУ в вопросах SEO и все такое... Заранее прошу отнестись ко мне как к человеку который просит совета.

    Суть вопроса и его важность .. ЗАМОРАЧИВАТЬСЯ или не стоит ???

    Страничка к который относится сам вопрос ... и так ... на этой страничке есть куча фильтров (соответственно ссылки) (сортировка по производителю (их порядка 20) и сортировка по цене и названию) ... как мне объяснили люди, которые занимаются раскруткой сайтов, что это очень сильно снижает ВЕС странички и эти фильтры следует "Disallow" в Robots.txt .... прочитав эту ветку "Все о файле robots.txt по-русски" я начал сомневаться в профессиональности этих людей. Как Вы считаете ??? Стоит это делать или нет ...

    И еще вопрос .... если стоит, то как правильно прописать в Robots.txt, что бы не вбивать каждый фильтр с отдельным ID в Robots.txt (типа ....... /Страничка1.html?filter_id=59 или /Страничка1.html?filter_id=53).....

    я думаю что можно типа так ....
    Disallow: /*?filter_id=*
    но может я очень сильно ошибаюсь и это совсем не правильно.
    Большая просьба не писать, что я полный "ЧАЙНИК" и все такое...
    Помогите пожалуйста разобраться в этом вопросе.
    1 человеку нравится это.
  2. Kovtun

    Kovtun SEO На форуме с: 2 сен 2009 Сообщения: 2.845

    GiTaNeS, чтобы робот принимал за основную страницу вот эту -> /Plitka-vannaya.html вместо вот этой -> /Plitka-vannaya.html?sort=name&direction=asc необходимо прописать в файле robots.txt после всех Disallow след. директиву:
    Код:
    Clean-param: sort /Plitka-vannaya.html
    Поскольку у вас еще есть direction, то лучше закрыть обе переменные:
    Код:
    Clean-param: sort&direction /Plitka-vannaya.html
    Подробнее читайте здесь. Директива clean-param.
    В Google.ru для тех же целей в панели вебмастера надо зайти в Конфигурация сайта/настройки/Обработка параметров.

    P.s. все это делать не обязательно. Это лишь указывает роботу, какую страницу считать основной.
    Обратите внимание, что страница /Plitka-vannaya.html будет участвовать в поиске в том случае, если робот будет знать ссылку на данную страницу именно в таком виде. Если же роботу будет известна только страница с параметрами, то она под действие директивы не попадет.
  3. Dante

    Dante Супер-модератор На форуме с: 17 мар 2011 Сообщения: 5.030 Команда форума

    А можно прописать несколько Юзер-Агентов? Прописать отдельно для форума своего бота? Как это сделать?
  4. iM1tya

    iM1tya На форуме с: 24 июл 2011 Сообщения: 10

    Подскажите пожалуйста.

    1) В разных папках на сайте у меня расположена картинка с одинаковым названием leftBaner.jpg , как одной записью мне запретить их все?

    Disallow: /*leftBaner.jpg -так будит правильно?

    2) Если я пишу
    Disallow: /*Scripts/
    это запрещает все папки с таким названием?
  5. Dante

    Dante Супер-модератор На форуме с: 17 мар 2011 Сообщения: 5.030 Команда форума

    iM1tya,а зачем звездочки? Да ещё и в таком формате. Это символ,который говорит,что разрешает всем роботам посещать сайт.
  6. Kovtun

    Kovtun SEO На форуме с: 2 сен 2009 Сообщения: 2.845

    Они обозначают любую последовательность символов.

    iM1tya,
    Да, но я бы еще на конце поставил $, чтобы не запрещало /scripts.html
    В итоге получаем:
    Без слеша на конце..
  7. Miha_Kregov

    Miha_Kregov На форуме с: 23 июн 2011 Сообщения: 402

    да

    Правильно будет так: Disallow: /*Scripts

    ---------- Сообщение добавлено в 10:50 ---------- Предыдущее сообщение размещено в 10:49 ----------

    EXALL, это не дубль твоего ответа, просто одновременно писали )))
  8. iM1tya

    iM1tya На форуме с: 24 июл 2011 Сообщения: 10

    Всем спасибо!) все понятно
  9. Анна

    Анна На форуме с: 17 апр 2013 Сообщения: 337

    прочитала всю тему. вопросы такие:
    1. как понять какие директории закрывать? не абстрактное "архивы, админку", а конкретные адреса. Я не админ, искать админа только робот написать - это... помоему странно. Мне кажется, не такая сложная тема, что бы не разобраться самой. пока не могу найти информацию. Понятно, что закрывать нужно не уникальное и дублирующее и то что не нужно.
    2. Новости. существуют в 3-х "видах": блок на главной с заголовками(закрывать не хочу, потому как яндекс часто лепит снипет из текста новости о часть текста с главной. Лепит не плохо. людям нравится), страница с заголовками(по 250 символов), страницы самой новости. Как это все красиво сделать, что бы не дублировалось. Мой вариант на главной nofollow, страницу с заголовками в роботе Disallow. сами тексты новостей оставить как есть. Но как тогда страницы новостей будут индекстироваться? Через соц. сети?...

    3. все это на wp. знаю, есть плагин и для карты сайта и для робота. Есть ли смысл в его использовании. Проще, понятно, но нам часто "везет" и есть любители поковыряться в настройках и галочки поставить. У меня вечернее развлечение проверять настройки сео плагина. Да и вообще пока есть возможность, я считаю, что нужно учится ручками делать, что бы понимать, где плагины косячат

    4. карта для яндекса, для гугля, на сайте много изображений. информации по картинкам море. есть ли смысл делать карту для изображений или достаточно анкоров?
  10. leshii

    leshii Модератор На форуме с: 4 сен 2011 Сообщения: 2.539 Команда форума

    все, которые не хотите видеть в поиске. Как найти? Смотрите, что уже в индексе, что потенциально может проиндексироваться (поиск, корзина, сессии). Можно сайт (если не совсем громадный) прогнать через Xenu - все, что она найдет может увидеть и робот.


    никогда не делал. разве что их очень много и часто обновляются.

    я бы ничего не закрывал в таком случае. больше на шаманство смахивает.
    Анна нравится это.
  11. Анна

    Анна На форуме с: 17 апр 2013 Сообщения: 337

    Сайт не проиндексирован пока. Лежит на виртуальном сервере. Почитаю про Xenu.
    Картинок действительно много. Это дизайн-студия+полиграфия, изображения все наши. По старому сайту, в индекс попало все.Вот и думаю, нужно оно мне или нет.
    С новостями, шаманство, просто опасаюсь, что нас плагиаторами себя посчитают)))
    --- добавлено: 11 июл 2013 в 13:08 ---
    кхм... офигенная программа. гранд мерси)
    вопрос возник с такой загадочной категорией, как поиск. не видит она его... или я не вижу, как она его видит(
    --- добавлено: 11 июл 2013 в 13:10 ---
    вот такую конструкцию, а-ля универсальную нашла на просторах, есть смысл ее использовать?:
    User-Agent: *
    Allow: /wp-content/uploads/
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Disallow: /xmlrpc.php
    Disallow: /template.html
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content
    Disallow: /tag
    Disallow: /category
    Disallow: /archive
    Disallow: */trackback/
    Disallow: */feed/
    Disallow: */comments/
    Disallow: /?feed=
    Disallow: /?s=
    Host: www.site.net
    Sitemap: http://www.site.net/sitemap.xml
    --- добавлено: 11 июл 2013 в 13:15 ---
    Disallow: /*?*
    наверное так будет правильно? (посмотрела, как результаты поиска выглядят
  12. leshii

    leshii Модератор На форуме с: 4 сен 2011 Сообщения: 2.539 Команда форума

    смотря как он реализован. Обычно его она не учитывает, т.к. страницы там динамические. Но закрывать его надо.

    хм. не знаю. имеет наверно. Стандартные конструкции подходят обычно во всех случаях, а потом каждый допиливает под себя.

    не знаю. я не представляю, что вы хотите добиться этой директивой.
  13. Анна

    Анна На форуме с: 17 апр 2013 Сообщения: 337

    спрятать поиск. результаты имеют вид htp://сайт/?s=%D0%B2%D0


    зы... вот умные ребята) site.ru, для примера кто только не использует... и сайт.ру
  14. leshii

    leshii Модератор На форуме с: 4 сен 2011 Сообщения: 2.539 Команда форума

    В таком случае Disallow: /?s=*
    Можете проверить в валидаторе http://webmaster.yandex.ru/robots.xml
Similar Threads
  1. VooDooManiac
    Ответов:
    5
    Просмотров:
    1.544
  2. alexman30
    Ответов:
    17
    Просмотров:
    2.305
  3. Skolzage
    Ответов:
    2
    Просмотров:
    835
  4. White1267
    Ответов:
    10
    Просмотров:
    1.048
  5. leshii

    Обсуждение SOPA по-русски

    leshii, 3 июл 2013, в разделе: Оффтоп
    Ответов:
    0
    Просмотров:
    322
Загрузка...
Статус темы:
Закрыта.