robots.txt

Тема в разделе "Общие вопросы оптимизации", создана пользователем alexman30, 19 фев 2011.

Статус темы:
Закрыта.
  1. alexman30

    alexman30 На форуме с: 10 фев 2011 Сообщения: 12

    Всем добрый день!
    Вопрос у меня по robots.txt.
    В яндексе говорят, что для него нужна такая форма заполнения:
    User-agent: *
    Disallow: /cgi-bin
    Host: www.site.ru

    Для гугля советуют такой вариант:
    User-agent: Googlebot
    Disallow: /lemurs
    Но как же тогда гугль определяет хост? Где его прописывать?

    А вот вариант сразу для всех роботов:
    User-Agent: *
    Host: имя сайта.ru
    Disallow: /index.php?
    Disallow: /?
    Disallow: /printable.php?
    И как на такой вариант будут смотреть роботы яндекса и гугля? Ведь у них стоит другой вариант в рекомендациях.

    Посоветуйте оптимальный вариант для всех роботов. Заранее спасибо
    1 человеку нравится это.
  2. flaider

    flaider На форуме с: 26 сен 2009 Сообщения: 181

    какую cms используете?
  3. KonsuL

    KonsuL На форуме с: 12 янв 2011 Сообщения: 124

    Я использую такой вариант (для любой CMS - вполне подойдет)
    Единственно можно внести изменения по доступности страниц по желанию.

    User-agent: *
    Disallow: /user/
    Disallow: /backup/
    Disallow: /engine/
    Disallow: /language/
    Disallow: /templates/
    Disallow: /upgrade/
    Disallow: /uploads/
    Disallow: /autobackup.php
    Disallow: /admin.php
    Disallow: /index.php?do=addnews
    Disallow: /index.php?do=feedback
    Disallow: /index.php?do=lostpassword
    Disallow: /index.php?do=pm
    Disallow: /index.php?do=register
    Disallow: /index.php?do=stats
    Disallow: /index.php?do=search
    Disallow: /index.php?subaction=newposts
    Disallow: /?do=lastcomments
    Disallow: /statistics.html
    Host: www.site.ru
    Sitemap: http://site.ru/sitemap.xml
  4. alexman30

    alexman30 На форуме с: 10 фев 2011 Сообщения: 12

    Я использую ShopCMS
  5. panferowa

    panferowa На форуме с: 20 фев 2011 Сообщения: 5

    Я бы Вам советовал зайти в соответствующие сервисы этих поисковых систем и там узнать из первых рук.
  6. alexman30

    alexman30 На форуме с: 10 фев 2011 Сообщения: 12

    Вообщем выяснил. Host - нужен только для яндекса. Таким образом, правильно писать так -

    User-agent: *
    Disallow:

    User-agent: Yandex
    Disallow:
    Host:
  7. Игорь Пастер

    Игорь Пастер На форуме с: 3 мар 2011 Сообщения: 11

    Вот как мне понять? На одних сайтах, говорят, что надо писать, а на других мол это игнорирование из индексации.
    Мол код
    HTML:
     
    User-Agent: *
    Disallow: /index.php?
    
    Вот мол здесь /index.php? - не будет эта страница индексироваться. Так нужно создавать или нет этот файл? Что туда писать?
  8. Антоша Хороший

    Антоша Хороший На форуме с: 10 май 2010 Сообщения: 288

    1 человеку нравится это.
  9. Игорь Пастер

    Игорь Пастер На форуме с: 3 мар 2011 Сообщения: 11

    :c10:Спасибо большое вам Андрей Хороший! Вы действительно хороший человек. Сегодня почитаю об этом файле. А, как вы страницу поиска нашли на http://www.seo-forum.ru/ ?
  10. Антоша Хороший

    Антоша Хороший На форуме с: 10 май 2010 Сообщения: 288

    Игорь Пастер,все очень легко и просто!
    Следуем инструкции:
    Заходим на форум
    Авторизуемся
    и видим следующее --> [​IMG]
    1 человеку нравится это.
  11. Игорь Пастер

    Игорь Пастер На форуме с: 3 мар 2011 Сообщения: 11

    Антоша Хороший, :a39: большое спасибо! Я что-то его и не заметил сразу. А у вас есть свой сайт?
  12. Антоша Хороший

    Антоша Хороший На форуме с: 10 май 2010 Сообщения: 288

    Есть, и не один. а вы с какой целью интересуетесь?
  13. Игорь Пастер

    Игорь Пастер На форуме с: 3 мар 2011 Сообщения: 11

    Мне, просто очень интересно посмотреть на ваш сайт. Его дизайн. Так как из выше обсуждения, я понял, что вы хороший веб-мастер. Я умных, людей сразу вижу, и вообще люблю умных людей, так как от них всегда можно чему-нибудь научиться...
    Вот, поэтому и интересуюсь, может, чего-нибудь вычитаю на вашем сайте. В общем, очень интересно посмотреть.
  14. Антоша Хороший

    Антоша Хороший На форуме с: 10 май 2010 Сообщения: 288

    У меня сайты то есть... НО... они не посвящены теме SEO... так что извини показать не могу... так как не люблю я светить свои сайты... вот если тебе каким советом помочь, без вопросов... а показать свои сайты извини не могу... :a1:
  15. Игорь Пастер

    Игорь Пастер На форуме с: 3 мар 2011 Сообщения: 11

    :a14:меня очень огорчило ваше сообщение. Я не требую именно SEO сайтов. Ну, как хотите. Вообще, впервые встречаю такого веб-мастера, который не хочет делить своими проектами. Это ваше право - :a33:.

    Понравилась последняя строчка.
    Ну, жди, готовься, вопросов то у меня много. Но, сначала с robots файлов разберусь, а потом задам. Кстати, один вопрос тут у мея пять минут назад образовался:
    Существует ли программ для засекания времени загрузки сайта?
Similar Threads
  1. VooDooManiac
    Ответов:
    5
    Просмотров:
    1.544
  2. Skolzage
    Ответов:
    2
    Просмотров:
    835
  3. Marketologov
    Ответов:
    1
    Просмотров:
    958
  4. White1267
    Ответов:
    10
    Просмотров:
    1.048
  5. [biskvit]
    Ответов:
    1
    Просмотров:
    3.497
Загрузка...
Статус темы:
Закрыта.