robots.txt вопросы новичка

Тема в разделе "Общие вопросы оптимизации", создана пользователем kvins, 11 авг 2011.

Статус темы:
Закрыта.
  1. kvins

    kvins На форуме с: 11 авг 2011 Сообщения: 7

    не очень много понимаю в seo и хотел спросить

    1 нужно ли закрывать от индексирования такие страницы как , страница подключение к базе данных или просто там где создаеться сообщение.
    или файл .htaccess

    1.1 может кто нить показать пример того как закрыть 1 файл например index.php

    2. если в robots.txt есть указания dofollow по всем страницам , и еще закрыть пару страниц nofollow ,то эти записи не запутают робота?
    или надо к каждому файлу отдельно прописывать как индексировать.

    3. если все написано в robots.txt то будет учитываться то что написано в тегах <follow></follow>
    1 человеку нравится это.
  2. Chudenkov

    Chudenkov На форуме с: 12 ноя 2010 Сообщения: 1.915

    1. Закрывать необходимо все, что на Ваш взгляд не должно быть полезно пользователям сайта. Так же необходимо закрывать страницы, которые образуют дубли страниц.
    1.1. Создаем файл robots.txt. Закидываем его в корень сайта. В файле пишем:
    Код:
    User-agent: *
    Disallow: index.php
    Host: www.site.ru
    2. В файле robots.txt указываются только те страницы, которые необходимо закрыть от индексации.
    Пример такого файла можно посмотреть здесь.

    3. Теги <follow> не учитываются поисковыми системами. Существует тег <noindex>, который позволяет поисковой системе не учитывать определенный контент.


    Подробнее про файл robots.txt можно получить у первоисточника - http://help.yandex.ru/webmaster/?id=996567
    1 человеку нравится это.
  3. kvins

    kvins На форуме с: 11 авг 2011 Сообщения: 7

    User-Agent: *
    Disallow: /activate.php
    Disallow: /ss.php
    Disallow: /str1.php
    Disallow: /str2.php
    Disallow: /rss.php
    Disallow: /myses/
    Host: www.site.com
    ну вот я написал список чего нельзя индексировать, а как теперь написать,чтоб попав на другие страницы не закрытые от индексирования чтоб он прошелся по всем ссылкам, Это получаеться тоже надо указывать каждый файлик ??
  4. Chudenkov

    Chudenkov На форуме с: 12 ноя 2010 Сообщения: 1.915

    Для этого существуют карты сайта - sitemap.xml.
    http://help.yandex.ru/webmaster/?id=1007070
    http://www.sitemaps.org/ru/faq.php

    Сгенерировать такую карту сайта можно используя online sitemap генераторы, например этот - http://sitemapgenerator.ru/unregister/
    1 человеку нравится это.
  5. Dante

    Dante Супер-модератор На форуме с: 17 мар 2011 Сообщения: 5.038 Команда форума

    Или вот такой
Статус темы:
Закрыта.