Вопрос Как правильно закрыть страницу в роботс от индексации?

Тема в разделе "Общие вопросы оптимизации", создана пользователем melihovgv, 20 сен 2013.

Статус темы:
Закрыта.
  1. melihovgv

    melihovgv На форуме с: 25 июл 2011 Сообщения: 1.507

    Здравствуйте, скажите пожалуйста правильно ли закрыта страница /component/content/?view=featured от индексации в robots.txt

    Код:
    User-agent: *
    Disallow: /component/content/?view=featured
  2. iMessi89

    iMessi89 На форуме с: 19 июн 2012 Сообщения: 979

    ну да впринципе, можно и так
    Просто короче было бы вот так:
    Код:
    Disallow: */?view=featured
    Проверить правильность можно здесь
    melihovgv нравится это.
  3. leshii

    leshii Модератор На форуме с: 4 сен 2011 Сообщения: 2.539 Команда форума

    если речь о конкретной странице, то лучше прописывать полный путь - мало ли что может находится по другому адресу с похожим окончанием.
  4. Sergey_Dy

    Sergey_Dy На форуме с: 4 окт 2013 Сообщения: 5

    Привет всем!
    Проверьте пожалуйста мой robots.txt, почему обращаюсь - сайт HotLinks.ru "ругается", что сайт закрыт от индексации...

    Код:
    User-agent: Mediapartners-Google
    Allow: /*
     
    User-Agent: YadirectBot
    Allow: /*
     
    User-agent: *
    Allow: /$
    Allow: /*.xml
    Disallow: /attachments*/
    Disallow: /avatars/
    Disallow: /avatars_users/
    Disallow: /Packages/
    Disallow: /Smileys/
    Disallow: /Sources/
    Disallow: /Themes/
    Disallow: /*action
    Disallow: /*board=*wap
    Disallow: /*board=*imode
    Disallow: /*topic=*wap
    Disallow: /*topic=*imode
    Disallow: /*topic=*.msg
    Disallow: /*topic=*.new
    Disallow: /*;
    Disallow: /*PHPSESSID
    Allow: /*board
    Allow: /*topic
    Disallow: /
    Crawl-delay: 100
    Clean-param: PHPSESSID /index.php
    Host: za40.org
  5. Marketologov

    Marketologov На форуме с: 6 фев 2011 Сообщения: 2.068

    уберите эту запись... она все закрывает
  6. Sergey_Dy

    Sergey_Dy На форуме с: 4 окт 2013 Сообщения: 5

    Спасибо. Но я думал, что она не просто закрывает, а закрывает только то что не прописано в правилах... Т.е.
    Allow: /*board Allow: /*topic открыты?
    В общем так всё в норме, только убрать Disallow: / - ?
  7. Marketologov

    Marketologov На форуме с: 6 фев 2011 Сообщения: 2.068

    открыты

    закрывайте все дубли (если есть) + ненужную техническую информация, кэш страниц, страницы генерируемые движком
    + карту сайта поставьте
    http://marketologov.ru/dlya-chego-nuzhen-robots-txt/
  8. Sergey_Dy

    Sergey_Dy На форуме с: 4 окт 2013 Сообщения: 5

  9. Marketologov

    Marketologov На форуме с: 6 фев 2011 Сообщения: 2.068

    Сорри не обратил внимания на
    Allow: /$

    Советую привести урлы в ЧПУ и закрыть все ненужное к индексации. Так будет проще.
    А вообще проверять можете тут
  10. Sergey_Dy

    Sergey_Dy На форуме с: 4 окт 2013 Сообщения: 5

    Я проверял на Яндекс - никаких проблем. Получается, что мне надо убрать строчку Allow: /$ - ? Или вернуть назад Disallow: / ? Как лучше?
    --- добавлено: 9 окт 2013 в 11:54 ---
    Немного переделал, получилось так:


    Код:
    User-agent: msnbot-MM
    Disallow: /
    
    User-agent: Googlebot-Mobile
    Allow: /*wap
    Disallow: /
    
    User-agent: YandexImageResizer
    Allow: /*wap
    Disallow: /
    
    User-agent: MediaPartners-Google
    Allow: /
    
    User-agent: Baiduspider
    Disallow: /
    
    User-agent: *
    Allow: /$
    Allow: /*.xml
    Disallow: /*action
    Disallow: /*board=*wap
    Disallow: /*board=*imode
    Disallow: /*topic=*wap
    Disallow: /*topic=*imode
    Disallow: /*topic=*.msg
    Disallow: /*topic=*.new
    Disallow: /*;
    Disallow: /*PHPSESSID
    Allow: /*board
    Allow: /*topic
    Disallow: /
    Crawl-delay: 5
    Clean-param: PHPSESSID /index.php
    Host: za40.org
  11. Sergey_Dy

    Sergey_Dy На форуме с: 4 окт 2013 Сообщения: 5

    Ситуация на данный момент: с Гуглом проблем нет - на данный момент в поиске более 100 страниц. А Яндекс нашёл 100 страниц (99 страниц запрещены в robots.txt) и только главная страница сайта проиндексирована. Долго можно ждать пока Яндекс проиндексирует сайт?
Статус темы:
Закрыта.