Robots Txt

Тема в разделе "Общие вопросы оптимизации", создана пользователем Skolzage, 20 фев 2011.

Статус темы:
Закрыта.
  1. Skolzage

    Skolzage Гость На форуме с: Сообщения: 0

    Добрый день. Посмотрите пожалуйста мой robots.txt правильно ли он настроен. Вызывает у меня сомнения.

    User-agent: *
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: /feed
    Disallow: /comments
    Disallow: /category/*/*
    Disallow: */trackback
    Disallow: */feed
    Disallow: */comments
    Disallow: /*?*
    Disallow: /*?
    Allow: /wp-content/uploads

    # Google Image
    User-agent: Googlebot-Image
    Disallow:
    Allow: /*

    # Google AdSense
    User-agent: Mediapartners-Google*
    Disallow:
    Allow: /*

    # Internet Archiver Wayback Machine
    User-agent: ia_archiver
    Disallow: /

    # digg mirror
    User-agent: duggmirror
    Disallow: /

    Sitemap: http://girrya.ru/sitemap.xml

    User-agent: Yandex
    Crawl-delay: 5

    Disallow: /tag

    Буду ждать ответа. Заранее спасибо.
  2. slavs™

    slavs™ На форуме с: 14 янв 2011 Сообщения: 167

    думаю, что много лишнего, я бы написал так исходя из вашего содержимого:

    HTML:
    User-agent: *
    Crawl-delay: 5
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: /feed
    Disallow: /comments
    Disallow: /category/
    Disallow: */trackback
    Disallow: */feed
    Disallow: */comments
    Disallow: /category/*/*
    Disallow: /*?*
    Disallow: /*?
    Disallow: /tag
    Host: girrya.ru
    Sitemap: http://girrya.ru/sitemap.xml
    а вообще смотрите здесь: http://help.yandex.ru/webmaster/?id=996567
  3. Skolzage

    Skolzage Гость На форуме с: Сообщения: 0

    Спасибо
    1 человеку нравится это.
Similar Threads
  1. VooDooManiac
    Ответов:
    5
    Просмотров:
    1.544
  2. alexman30
    Ответов:
    17
    Просмотров:
    2.311
  3. Marketologov
    Ответов:
    1
    Просмотров:
    959
  4. White1267
    Ответов:
    10
    Просмотров:
    1.049
  5. [biskvit]
    Ответов:
    1
    Просмотров:
    3.499
Загрузка...
Статус темы:
Закрыта.