Все о файле robots.txt по-русски

Тема в разделе "Общие вопросы оптимизации", создана пользователем Антоша Хороший, 25 май 2010.

Статус темы:
Закрыта.
  1. Tony_Stark

    Tony_Stark На форуме с: 8 июн 2010 Сообщения: 197

    Да, сорри, виноват. Не ту ссылку скопировал.

    Вот ссылка на хелп вебмастерки
    http://help.yandex.ru/webmaster/?id=1111858
    И форума
    http://forum.yandex.ru/yandex/questions.xhtml?message_id=633459

    То есть, если не ставить all, то конфликта не будет, страницы в индексе тоже не будет, но ссылки проиндексируются. А, если проиндексировались ссылки, то и вес по ним передается.
  2. Антоша Хороший

    Антоша Хороший На форуме с: 10 май 2010 Сообщения: 288

    Какой вес??? о каком именно весе вы говорите???
    Давай те разберемся... Если взять допустим Яндекс.
    Допустим:
    Если документ A ссылается на документ B вот такой ссылочкой <a href="http://www.site.com">арбуза</a> То ранжирование документа в ПС по запросу "арбуза" будет улучшено.
    Так вот ... к чему я это все...
    вес конечно есть... это понятие настолько образное... даже не знаю как описать это...
    А вот теперь по поводу google.ru .
    Понятие PR теперь не работает в нем... значит я так подразумеваю, что понятие "вес" работает примерно так же как и в Яше.

    И так вопрос...
    Какой же вес вы собрались сохранять на сайте, если расклад ведет к выше описанным вещам?
  3. Tony_Stark

    Tony_Stark На форуме с: 8 июн 2010 Сообщения: 197

    У буржуев есть понятие "link juice", ссылочный сок, вес, кому как удобнее. Туда включаются различные метрики - и анкор, и анкоронезависимые метрики, такие как авторитет домена донора, авторитет страницы донора, траст домена донора, разнообразие ссылающихся доменов, количество ссылок. Действительно, само понятие линк джуса довольно образное, т.к. состоит из кучи всего. И, если ссылка проиндексировалась с анкором "арбуза", то это поможет в ранжировании документу акцептору. Именно этот вес и передается при ноиндекс, фоллов.

    Почему не работает PR? Когда его отменили? И почему только в гугл.ру? PR - это старый алгоритм, который учитывает ссылочную популярность документа. Является анкоронезависимой метрикой и прекрасно работает.

    Все алгоритмы везде похожи или одинаковы. У Яндекса свой вариант PR. Я использует и алгоритм HITS, который, в отличии от PR учитывает соответствие тематики документов. Про HITS можно почитать в Википедии, как и про PR. Где и тут было http://company.yandex.ru/public/articles/, но я уже не помню где именно, к сожалению. Можешь покопаться, поискать. Потому и стараются все получать ссылки с тематических ресурсов, потому что это согласуется с HITS'ом.

    Основные-то вещи одни и те же, математика особо не отличается. Да и ссылки с rel="nofollow" учитываются тоже. На СЕОмозе статья была про то, что в каком-то авторитетном твиттере на них поставили ссылку и рядом была написана фраза, по которой они стали ранжироваться и получать посетителей. Хотя, до ссылки из твиттера этой фразы в топе не было. Ну, Гугл и Бинг стали учитывать сылки из Твиттера (а эти ссыли-то в нофоллове). Да и давно уже народ заметил, что ссылки с нофоллов все равно дают какую-то пользу.

    То есть, я хочу сказать, что хоть и пишут они в правилах, хелпах и факах, мол, если закрыть в роботсе, то робот туда не пойдет, или повесить на ссылку нофоллов, то по ней робот ходить не должен, но представь себя Яндексом или Гуглом. Ты пришел на мой сайт, а у меня страничка закрыта в роботсе, но на нее есть внешние ссылки. Ты разве не пойдешь туда? Пойдешь, конечно. Все эти запреты/разрешения - это пожелания больше, но никак не указ. Если бы я создавал робота, то я бы никого не слушал, конечно. Ходил бы везде и все смотрел, хотя и писал бы в правилах, что никуда не хожу.
  4. ILYA

    ILYA Гость На форуме с: Сообщения: 0

    Вот-с, facebook.com/robots.txt. Изучайте :)
    1 человеку нравится это.
  5. slavs™

    slavs™ На форуме с: 14 янв 2011 Сообщения: 167

    Ага или Яши http://www.yandex.by/robots.txt
    1 человеку нравится это.
  6. M_a_Ge

    M_a_Ge На форуме с: 10 фев 2011 Сообщения: 320

    А вот Google http://www.google.ru/robots.txt
    Странно то, что не используется директива Host ни в одном из представленных файлов.
  7. Антоша Хороший

    Антоша Хороший На форуме с: 10 май 2010 Сообщения: 288

    Ты не заметил что она не пашет нифига!:a1:
    1 человеку нравится это.
  8. Tony_Stark

    Tony_Stark На форуме с: 8 июн 2010 Сообщения: 197

    :c23:

    Хотя Google не сканирует и не индексирует содержание страниц, заблокированных в файле robots.txt, URL-адреса, обнаруженные на других страницах в Интернете, по-прежнему могут добавляться в индекс. В результате URL страницы, а также другие общедоступные сведения, например текст ссылок на сайт или заголовок из каталога Open Directory Project, могут появиться в результатах поиска Google. © Источник

    Оттуда же: чтобы полностью исключить вероятность появления контента страницы в индексе Google, даже если на нее ссылаются другие сайты, используйте метатег noindex. Если робот Googlebot начнет сканировать страницу, то обнаружит метатег noindex и не станет отображать ее в индексе.
  9. Ri4mond

    Ri4mond Гость На форуме с: Сообщения: 0

    У меня простой по поводу файла роботс и конкретно /images

    На сайте есть страницы с товаром в виде фоток (с альтом) и одной строчки текста. Если я запрещу роботу папку /images то ни одна фотка не будет проиндексирована. Есть вариант открыть эту папку, но правильно ли это делать и какие последствия могут быть я не знаю. Для меня оптимальный вариант, это индексация по одной фотки со страницы.

    Помогите советом, как в этой ситуации правильно поступить?
  10. dez19

    dez19 Гость На форуме с: Сообщения: 0

    не закрывайте от индексации)
  11. acantov

    acantov На форуме с: 4 апр 2011 Сообщения: 5

    А как прописать метатеги, если страницы динамические, создаются непонятно (мне:a13:) как, с помощью файла index.pl? Попытался записать тег revisit, зазывать роботов раз в неделю, но запись тега в файл делает сайт недоступным.
    Разработчик, кстати, некоторое время назад тоже стал недоступным.
    1 человеку нравится это.
  12. mihail87

    mihail87 Гость На форуме с: Сообщения: 0

    Здравствуйте, уважаемые пользователи форума. Подскажите, вот такой robots.txt правильный:
    Сайт на ucoz'e
    Заранее благодарен
  13. slavs™

    slavs™ На форуме с: 14 янв 2011 Сообщения: 167

    mihail87, уберите все директивы Allow: Ни к чему. Sitemap: я бы добавил после Host:
    1 человеку нравится это.
  14. mihail87

    mihail87 Гость На форуме с: Сообщения: 0

    Спасибо за консультацию. Так и сделаю.
    Только объясните в чем разница? (я по поводу Sitemap) А то всё таки хотелось бы знать для чего я это делаю.
    Спасибо
  15. slavs™

    slavs™ На форуме с: 14 янв 2011 Сообщения: 167

    Да в принципе ни какой, просто есть определенная принятая последовательность http://help.yandex.ru/webmaster/?id=996567#996573
    1 человеку нравится это.
Similar Threads
  1. VooDooManiac
    Ответов:
    5
    Просмотров:
    1.542
  2. alexman30
    Ответов:
    17
    Просмотров:
    2.303
  3. Skolzage
    Ответов:
    2
    Просмотров:
    834
  4. White1267
    Ответов:
    10
    Просмотров:
    1.048
  5. leshii

    Обсуждение SOPA по-русски

    leshii, 3 июл 2013, в разделе: Оффтоп
    Ответов:
    0
    Просмотров:
    321
Загрузка...
Статус темы:
Закрыта.