Все о файле robots.txt по-русски

Тема в разделе "Общие вопросы оптимизации", создана пользователем Антоша Хороший, 25 май 2010.

Статус темы:
Закрыта.
  1. Антоша Хороший

    Антоша Хороший На форуме с: 10 май 2010 Сообщения: 288

    Все о файле robots.txt по-русски

    Все поисковые роботы при заходе на сайт в первую очередь ищут файл robots.txt. Если вы – вебмастер, вы должны знать назначение и синтаксис robots.txt. Файл robots.txt – это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов. Эти инструкции могут запрещать к индексации некоторые разделы или страницы на сайте, указывать на правильное «зеркалирование» домена, рекомендовать поисковому роботу соблюдать определенный временной интервал между скачиванием документов с сервера и т.д.
    Создание robots.txt

    Чтобы создать файл robotx.txt, нужен простой текстовый файл. Если вы не собираетесь создавать запреты к индексации, можно сделать пустой файл robots.txt. Для Рунета самой часто встречающейся задачей является создание файла robots.txt для Яндекса, так как сейчас Яндекс – самая популярная поисковая система. Важно уметь правильно использовать директиву host, которую соблюдает этот поисковик.
    Описание robots.txt

    Чтобы правильно написать robots.txt, предлагаем вам изучить самую полезную информацию о синтаксисе robots.txt, о формате robots.txt, примеры использования, а также описание основных поисковых роботов Рунета.
    Ошибки, часто встречающиеся в файле robots.txt

    Весь материал взят с http://robotstxt.org.ru/
    1 человеку нравится это.
  2. lallali

    lallali На форуме с: 11 май 2010 Сообщения: 107

    А можно все таки кого-нибудь попросить показать полный текст правильного файла робот.тхт с исключением индексирования какой-то определенной страницы и/или директории для примера :a23:
    и я правильно поняла, что для исключения индексирования надо прописывать новый абзац для каждого поисковика?
    есть ли смысл в том, чтобы например яша не индексировал страницу со ссылками (вот например у меня их целых пять штук по разделам, а будет наверняка больше), а гугл или мэйл индексировал?
    т.е. насколько кому из поисковиков все равно сколько у меня ссыллок с сайта?
  3. Антоша Хороший

    Антоша Хороший На форуме с: 10 май 2010 Сообщения: 288

    Пример, правильного содержания файла robots.txt с закрытой от индексации страницей сайта /file1.html:

    Пример, правильного содержания файла robots.txt с закрытой от индексации директорией сайта /john/:

    Для каждой страницы новая строка!
    Пример:

    С директориями точно так же!

    А там что тупа одни ссылки? если их там не много то можно и в noindex запихать!

    Никому не все равно! больше всех гуглу не все равно!
  4. Kovtun

    Kovtun SEO На форуме с: 2 сен 2009 Сообщения: 2.845

    Антоша Хороший, почему пишешь правильным вариантом Host: http://www.site.ru/ ?

    Исправляй давай.:c15:
  5. Антоша Хороший

    Антоша Хороший На форуме с: 10 май 2010 Сообщения: 288

    аааа извиняюсь жутко.... промашечка вышла...:a14:
  6. lallali

    lallali На форуме с: 11 май 2010 Сообщения: 107

    ну конечно одни ссылки, у меня сайт питомника кошек, чтобы немножко нарастить тиц меняюсь ссылками с другими зверофермами и порталами, спложные баннеры и ссылки :a38:

    пошла писать робота и ноиндексы..

    а что мне будет, если я кнопочку на яндекс тиц поставлю в ноиндекс.. :a37:
  7. Антоша Хороший

    Антоша Хороший На форуме с: 10 май 2010 Сообщения: 288

    Ничего тебе не будет! у меня лично привычка выработана все счетчики и всякие ссылки в <noindex> закрывать!
  8. lallali

    lallali На форуме с: 11 май 2010 Сообщения: 107

  9. ILF

    ILF На форуме с: 15 сен 2009 Сообщения: 60

    Всем привет. Ребят инфа на 5+. Большое спасибо. Вот только остался 1 вопрос. А ЧТО нужно закрывать от индексации? Я слышал о дублированных страницах, RSS-лентах. Кто может дать информацию по этому поводу. Где-то читал, что в интернет-магазинах нужно запрещать индексировать прайс-лист, так как робот посчитает это спамом или переоптимизацией. За любую инфу буду признателен.
  10. Антоша Хороший

    Антоша Хороший На форуме с: 10 май 2010 Сообщения: 288

    Дублированные страницы естественно нужно закрывать, каталоги тоже желательно закрыть если там очень частое повторение одного и того же ключа! мусорные страницы! страницы на которых очень много ссылок!
  11. ILF

    ILF На форуме с: 15 сен 2009 Сообщения: 60

  12. Marduh

    Marduh На форуме с: 12 сен 2009 Сообщения: 438

    Надо брать с первоисточника:
    http://help.yandex.ru/webmaster/?id=1108947
  13. Антоша Хороший

    Антоша Хороший На форуме с: 10 май 2010 Сообщения: 288

    Классно написано... :a25:
    Добавить мне лично даже нечего... если только какой то конкретный случай рассматривать...:a11:
  14. ILF

    ILF На форуме с: 15 сен 2009 Сообщения: 60

    Ребят. у мну случай, не попавший под вышеописанное.

    нужно запретить индексацию новостей, т.к. они не уникальны и тянутся с другого сайта.

    проблема в следующем.

    адрес сайта - http://site.ru, но новости находятся на домене второго уровня (я правильно понимаю, это второй уровень?) - http://News.site.ru
    Подскажите пожалуйста, как с этим бароца ? какая строчка должна быть в роботс ? Disallow: ???

    Спасибо
  15. Kovtun

    Kovtun SEO На форуме с: 2 сен 2009 Сообщения: 2.845

    Это второй уровень. Кстати, классный сайт.
    Это поддомен - отдельный сайт. Вывод - ему свой robots.txt нужен.
Similar Threads
  1. VooDooManiac
    Ответов:
    5
    Просмотров:
    1.542
  2. alexman30
    Ответов:
    17
    Просмотров:
    2.304
  3. Skolzage
    Ответов:
    2
    Просмотров:
    834
  4. White1267
    Ответов:
    10
    Просмотров:
    1.048
  5. leshii

    Обсуждение SOPA по-русски

    leshii, 3 июл 2013, в разделе: Оффтоп
    Ответов:
    0
    Просмотров:
    322
Загрузка...
Статус темы:
Закрыта.