Все о файле robots.txt по-русски

Тема в разделе "Общие вопросы оптимизации", создана пользователем Антоша Хороший, 25 май 2010.

Статус темы:
Закрыта.
  1. ILF

    ILF На форуме с: 15 сен 2009 Сообщения: 60

    спасибо, exall.

    То есть мне надо запретить иднексировать весь сайт ?
  2. Антоша Хороший

    Антоша Хороший На форуме с: 10 май 2010 Сообщения: 288

    Совершенно верно!

    Disallow: *

    вот что надо прописать!
  3. Kovtun

    Kovtun SEO На форуме с: 2 сен 2009 Сообщения: 2.845

    Антоша Хороший, где тебя такому научили?
    ILF, вот так в robots.txt пропиши и закинь в корень поддомена. Весь поддомен индексироваться не будет.
    Код:
    User-agent: *
    Disallow: /
    1 человеку нравится это.
  4. Антоша Хороший

    Антоша Хороший На форуме с: 10 май 2010 Сообщения: 288

    Сори чего то я перепутал все на свете)))

    ---------- Сообщение добавлено 22.10.2010 в 15:52 ----------

    Вот незадача непонятная!!!
    http://forum.netis.ru/ вот форум!
    У него есть свой robota.txt в котором прописано следующее:
    И в то же время у нео в индексе:

    Yandex: 1(главная страница)

    Google: 2(главная и еще одна страница)
  5. Tony_Stark

    Tony_Stark На форуме с: 8 июн 2010 Сообщения: 197

    Сколько можно закрывать все в роботсе? :( Не надо в нем ничего лишнего закрывать. Пользуйтесь метатегами для кжадой страницы. Их для того и придумали, что бы роботс не трогать.
  6. Антоша Хороший

    Антоша Хороший На форуме с: 10 май 2010 Сообщения: 288

    Это интересно чем же плохо его трогать???
  7. M_a_Ge

    M_a_Ge На форуме с: 10 фев 2011 Сообщения: 320

    Метатеги это конечно удобно. Но зачем поисковой системе скачивать страницу, которая не должна появиться в индексе? Подумайте над этим.
    У меня другой подход, я стараюсь закрыть все ненужное именно в robots.txt. А все что невозможно или проблематично закрыть, закрываю в метатегах. Но их массовое использование считаю непримелимым (ИМХО)
  8. Антоша Хороший

    Антоша Хороший На форуме с: 10 май 2010 Сообщения: 288

    Мне куда удобней robots.txt ... Обламывает одно что теперь HOST толком не пашет :a12:
  9. Tony_Stark

    Tony_Stark На форуме с: 8 июн 2010 Сообщения: 197

    M_a_Ge,
    За нас уже давно подумал Гугл. Мы сейчас просто противимся и черное называем белым. Я уже несколько раз писал на этом форуме чем плох роботс.

    Плох он тем, что если страница закрыта в роботсе (допустим, сортировка товара, поиск или еще что-то не спамное), то все ссылки, которые будут на нее вести, не передаду сайту никакого веса. Если же на такой странице указан noindex, follow, страница в индекс не пойдет, но все ссылки учтутся. Это хорошо и для внутренней перелинковке и для сбережения веса. Представьте себе сообщающиеся сосуды. Так вот Disallow в роботсе какой-то страницы = тому, что вы пробьете один из сосудов и вся вода, что в него втекает, выливается.

    Другой вопрос, что дублей страниц не должно быть вообще, но бывает так, что от них нельзя избавиться. Для дублей, кстати, сделан метатег каноникал.

    Не нужно пользоваться тем, от чего Гугл уже избавил нас больше года назад. А мы все лбом об стенку - вот я в роботсе все позакрываю и будет мне счастье.

    Это олдскул, причем он уже не помогает, а только портит картину.
  10. Антоша Хороший

    Антоша Хороший На форуме с: 10 май 2010 Сообщения: 288

    Tony_Stark,
    Если ты не в курсе, вот что тебе расскажу... (Хоть и сижу изрядно нагулявшийся и подвыпивший, голова все же соображает).
    Изначально когда робот ПС заходит на твой(либо какой другой) сайт, он ищет инструкцию что ему можно смотреть, а что нет. Инструкция эта называется файл robots.txt.
    Так вот если какая либо страница или же директория сайта там закрыта. Он нафиг не пойдет туда и не будет ее индексировать.
    Следовательно "вес" страницы не теряется.
    Как говорится "Учи мат. часть"... )))
    PS не сочти за грубость...
    1 человеку нравится это.
  11. Tony_Stark

    Tony_Stark На форуме с: 8 июн 2010 Сообщения: 197

    Нет, эту страну не победить...
    Все понимаю, приятно отправить человека учить матчасть, но в даном случае я ее знаю лучше. И я могу доказать твое заблуждение.

    Поехали.

    Заходим в роботс данного форума, находим там запрет на индексацию пользователей (member.php)

    Идем в гугл и пишем: inurl:member.php site:seo-forum.ru

    О, Боже мой, что же это такое?

    Результатов: примерно 215

    Больше 200 страниц "соплей" закрытых в роботсе.

    Дальше.
    inurl:memberlist.php site:seo-forum.ru

    Блин, а список пользователей что тут делает??

    Еще дальше.
    site:www.yandex.ru inurl:/setup

    Кхм-кхм... что-то тут не так. Гугл проиндексировал даже то, что у Яндекса закрыто в роботсе. Мир переворачивается с ног на голову.

    Антоша, роботы ХОДЯТ даже по тем страницам, которые закрыты в роботсе и успешно заносят из в индекс. И забрасывают их в сопли, оставляют без кэша. А если на страницу еще и внешние ссылки стоят, то вообще хана.

    Роботс.тхт был придуман в 94м году. Уже прошло почти 20 лет! Мир ушел вперед, ребята. Надо больше читать того, о чем говорят и пишут люди в мире, нужно читать справку Гугла, нужно читать статьи на каких-то авторитетных источниках.

    Я тут уже сто раз писал на форуме об этом, но многие до сих пор не хотят ничего слышать и видят только то, к чему привыкли. Но, к сожалению, поисковики не работают так, как хочется нам. Нельзя сказать себе, что Гугл делает так, как написано в роботсе и ждать, что он будет делать именно так.

    Если сейчас ты поставишь ссылку со своего сайта на свой профиль на этом форуме, то ты не принесешь ровным счетом никакой пользы сайту, т.к. вес эта непонятная страница, находящаяся в соплях, никуда не передаст.

    Если на страницу профилей поставить
    <meta name="robots" content="noindex, follow">

    то страница не будет попадать в индекс, но ссылки на ней индексироваться будут.
    И вес пойдет дальше.

    Да, сложно признать, что ты не прав, но будь мужиком, признай этот факт.
    Вот просмотри обязательно на досуге:
    http://www.seomoz.org/blog/serious-robotstxt-misuse-high-impact-solutions
    Если что-то будет непонятно, то можешь смело обращаться, я помогу с переводом непонятных мест.
  12. M_a_Ge

    M_a_Ge На форуме с: 10 фев 2011 Сообщения: 320

    Tony_Stark, во-первых, файл robots.txt мог быть создан гораздо позднее того, как поисковик побывал на сайте. Страницы из индекса не так-то быстро выпадают.
    Во-вторых, одно дело с Google работать, а совсем другое с Яндексом. Они по-разному, могут эти самые теги воспринимать.
    Каждый из нас прав по-своему. Где-то нужно использовать файл robots.txt (от него никто еще не отказался и его использование необходимо), а где-то нужно использовать метатеги. И не только для SEO, а, например, для указания авторства и т.д.
    Из своего опыта могу сказать, что я всегда использую метатег Despription для формирования хорошего сниппета, но Яндекс на него плевал. Вот такие дела.
    Как говорится Рунет отстает от зарубежного Интернета на 2 года, не стоит этому удивляться. Конечно нужно прогрессировать, а не уподобляться течению толпы. Но иногда обстоятельства бывают выше нас.
  13. slavs™

    slavs™ На форуме с: 14 янв 2011 Сообщения: 167

    M_a_Ge, о чем-то спорить с "гуру" Tony_Stark бесполезно. Существуют две точки зрения по всем вопросам. Его и неправильные.
    1 человеку нравится это.
  14. Tony_Stark

    Tony_Stark На форуме с: 8 июн 2010 Сообщения: 197

    Роботс Яндекса точно создан давно. У них, кстати, разные роботсы на версии с www и без www. У Яндекса самого много косяков о которых написано в их хелпе, что нжно исправлять.

    А ноиндекс, фоллов Яндекс понимает на ура. Каноникал, вроде, пока не видел, что бы понимал, а с ноиндекс, фоллов приходится работать, т.к. они вышли на Запад, а там без принятия этих правил Я не сможет работать.

    Страницы с noindex, follow выпадают из индекса довольно быстро, кстати. Я двигаю 3 российских Сландо и с Яндексом волей-неволей пересекаюсь все равно. Ну и по украинским проектам с Яндексом приходится дело иметь. Поэтому, могу с уверенностью говорить, что это все работает и в Яндексе.

    Вот, кстати и слова самого Яндекса:
    http://api.yandex.ru/server/doc/concepts/y-ds-web-pages.xml
    На странице Ctrl+F и ищем "Не индексировать страницу, но собрать с нее все ссылки на другие страницы"

    В общем, я согласен, что рунет отстает очень. Как никак, это всего лишь около 2% всей сети. Поэтому, необходимо смотреть на то, что происходит в мире. И Яндекс это делает, кстати. И все его правила описаны в хелпе. Достаточно зайти в сам Яндекс и написать - noindex, follow site:yandex.ru

    Насчет Славса промолчу. Такое ощущение, что человеку лень думать и неохота смотреть фактам в глаза :(
  15. Антоша Хороший

    Антоша Хороший На форуме с: 10 май 2010 Сообщения: 288

    Бррр... стоп...!!!
    Допустим ты прав.
    Но ты даешь ссылку на инструкцию API Яндекс.Сервера.
    Зачем нам Яндекс поиск... если мы говорим об индексации сайта.
    Если PR не пашет, то о каком весе мы говорим? что мы передаем?
Similar Threads
  1. VooDooManiac
    Ответов:
    5
    Просмотров:
    1.542
  2. alexman30
    Ответов:
    17
    Просмотров:
    2.303
  3. Skolzage
    Ответов:
    2
    Просмотров:
    834
  4. White1267
    Ответов:
    10
    Просмотров:
    1.046
  5. leshii

    Обсуждение SOPA по-русски

    leshii, 3 июл 2013, в разделе: Оффтоп
    Ответов:
    0
    Просмотров:
    320
Загрузка...
Статус темы:
Закрыта.