Помогите с написание робота пожалуйста!

Тема в разделе "Общие вопросы оптимизации", создана пользователем FROST, 2 фев 2011.

Статус темы:
Закрыта.
  1. FROST

    FROST Гость На форуме с: Сообщения: 0

    Надо закрыть от индексации пользователей
    то, что текстовый файл блокнота rabots.txt надо засунуть в корневую дирректорию я знаю...

    а можете написать мне текст, который вставить в блокнот для запрета индексрования юзеров
    и кроме того что засуну его в корень-надо ли где то делать что то ещё?
  2. Qvvi

    Qvvi На форуме с: 2 янв 2011 Сообщения: 64

    User-agent: *

    Disallow: /admin/
    Disallow: /contrib/
    Disallow: /doc/
    Disallow: /lib/
    Disallow: /modules/
    Disallow: /plugins/
    Disallow: /scripts/
    Disallow: /tmp/

    Host: www.site.ru
    Sitemap: http://www.site.ru/sitemap.xml

    Где
    - ссылки на страницы, которые вы не хотите что бы робот индексировал.
    Полный путь писать не надо
    Если есть www.site.ru/users - и вы хотите его закрыть - напишите:

    Disallow: /users/
    Этого будет достаточно

    Закинуть в корень сайта будет достаточным.
Similar Threads
  1. Artak
    Ответов:
    3
    Просмотров:
    1.006
  2. Айнур
    Ответов:
    1
    Просмотров:
    668
  3. Айнур
    Ответов:
    0
    Просмотров:
    1.333
  4. Саша Макуха
    Ответов:
    4
    Просмотров:
    445
  5. Елена73
    Ответов:
    2
    Просмотров:
    429
Загрузка...
Статус темы:
Закрыта.