Яндекс исключил страницы...

Тема в разделе "Общие вопросы оптимизации", создана пользователем fadi4, 28 янв 2011.

Статус темы:
Закрыта.
  1. fadi4

    fadi4 Гость На форуме с: Сообщения: 0

    Вот такая ситуация уже с месяц...
    страницы исключены HTTP-статус: Ресурс не найден (404).
    Но все страницы есть и нормально работают. Робот ищет их в директории сайт/запись, а адрес сайт/рубрика/запись.
    Сайт на wordpress.

    На всякий случай привожу robots.txt:
    User-agent: *
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: /feed
    Disallow: /comments
    Disallow: */trackback
    Disallow: */feed
    Disallow: */comments
    Allow: /wp-content/uploads
    # Google Image
    User-agent: Googlebot-Image
    Disallow:
    Allow: /*
    # Google AdSense
    User-agent: Mediapartners-Google*
    Disallow:
    Allow: /*
    # Internet Archiver Wayback Machine
    User-agent: ia_archiver
    Disallow: /
    # digg mirror
    User-agent: duggmirror
    Disallow: /
    Sitemap: http://funoffice.ru/sitemap.xml
    Sitemap: http://www.funoffice.ru/sitemap.xml
    User-agent: Yandex
    Crawl-delay: 5
    Allow: /*
    Disallow: /tag


    Как это исправить?
  2. slavs™

    slavs™ На форуме с: 14 янв 2011 Сообщения: 167

    robots, конечно знатный.
    Я бы оставил так:

    User-agent: *
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes

    Sitemap: http://www.funoffice.ru/sitemap.xml
    Host: www.funoffice.ru
  3. fadi4

    fadi4 Гость На форуме с: Сообщения: 0

    исправил. посмотрим, будут ли улучшения
    1 человеку нравится это.
Статус темы:
Закрыта.