Помогите составить robots.txt

Тема в разделе "Общие вопросы оптимизации", создана пользователем Сео новичок, 17 май 2012.

Статус темы:
Закрыта.
  1. Сео новичок

    Сео новичок Гость На форуме с: Сообщения: 0

    Здравствуйте уважаемые seo специалисты!

    Помогите составить файл robots.txt для сайта generation-ufa.ru
    Нам не нужно ничего запрещать от индексации...........каким получится тогда файл? Можете прописать?
    Заранее спасибо!!!!!:a1:
  2. Kovtun

    Kovtun SEO На форуме с: 2 сен 2009 Сообщения: 2.845

    Сео новичок, в вашем случае файл robots.txt не нужен.
    Либо сделайте его таким:
    Код:
    User-Agent: * 
    Disallow: 
    Host: ваш-домен.ру
    Sitemap: http://ваш-домен.ру/sitemap.xml 
    Т.е. указываете Host (с www или без в зависимости от того какую версию выбрали) и sitemap (если есть).
  3. leshii

    leshii Модератор На форуме с: 4 сен 2011 Сообщения: 2.539 Команда форума

    1 человеку нравится это.
  4. Erezerblade

    Erezerblade На форуме с: 27 апр 2012 Сообщения: 230

    Если вам не нужно ничего скрывать от индексации, особо он вам не нужен.

    Небольшое замечание: если вам так нужен robots.txt сделайте себе страницу 404 и скройте от индексации её) Но я думаю, можно просто сделать метатег. Вот вам материал http://robotstxt.org.ru/
  5. Kovtun

    Kovtun SEO На форуме с: 2 сен 2009 Сообщения: 2.845

    Erezerblade, страницы с 404 ошибкой в индекс не попадают. Скрывать ее от индексации нет смысла.
  6. Chudenkov

    Chudenkov На форуме с: 12 ноя 2010 Сообщения: 1.915

  7. tmoiseeva

    tmoiseeva На форуме с: 11 фев 2012 Сообщения: 5

    Научите, как правильно?
    Надо ли закрывать теги, архивы от индексации в файле robots.txt?
    У всех разное мнение, кто-то говорит, что яндекс может пустить сайт под фильтр из-за одинаковых ссылок.

    ---------- Сообщение добавлено в 11:37 ---------- Предыдущее сообщение размещено в 11:34 ----------

    Еще вопрос. В чем разница в файле robots.txt
    Disallow: /tag/ и Disallow: /tag
    что означает флэш в конце?
  8. Marketologov

    Marketologov На форуме с: 6 фев 2011 Сообщения: 2.068

    да, там дублируется контент
    в первом случае закрывается весь раздел /tag/
    во втором случае это все урлы включающие в себя /tag... например это может быть и /taganka/

    А что там за простыни внизу?)
  9. tmoiseeva

    tmoiseeva На форуме с: 11 фев 2012 Сообщения: 5

    то есть теги не будут индексироваться? или они все таки идут как ключевые слова на блоге? можно более раскрытый ответ получить?
  10. Marketologov

    Marketologov На форуме с: 6 фев 2011 Сообщения: 2.068

    не будут
    Не индексируются все урлы (адреса стариц) с теми словами которые вы вписали в Disallow
    Например Disallow: /page
    не индексируются все страницы в адресе которых есть /page
    Disallow: /razdel/
    не индексируются все страницы в адресе которых есть /razdel/

    Вот можно почитать
    http://help.yandex.ru/webmaster/?id=996567
    1 человеку нравится это.
Статус темы:
Закрыта.