безконтрольные роботы robots.txt,

Тема в разделе "Общие вопросы оптимизации", создана пользователем kvins, 13 авг 2011.

Статус темы:
Закрыта.
  1. kvins

    kvins На форуме с: 11 авг 2011 Сообщения: 7

    Кроме того, безконтрольные роботы могут перегрузить Ваш трафик. Избегайте сканирования вашего сайта неизвестными ботами с помощью фильтра robots.txt, который очистит полосу пропускания

    вот прочитал это и хотел бы поподробнее узнать ,советы или может где нить много написано об этом?
  2. Dante

    Dante Супер-модератор На форуме с: 17 мар 2011 Сообщения: 5.038 Команда форума

    Предлагаете прописывать агентов вручную?
  3. kvins

    kvins На форуме с: 11 авг 2011 Сообщения: 7

    ну вроде кроме роботов google и yandex у каждого может роботов по 10,
    для них правила составить а всех остальных игнорировать.
    Ну я много не знаю,так что если я неправ просветите меня пожалуста:a1:
  4. Dante

    Dante Супер-модератор На форуме с: 17 мар 2011 Сообщения: 5.038 Команда форума

Similar Threads
  1. Skolzage
    Ответов:
    2
    Просмотров:
    838
  2. White1267
    Ответов:
    10
    Просмотров:
    1.049
  3. [biskvit]
    Ответов:
    1
    Просмотров:
    3.497
  4. Мороз
    Ответов:
    2
    Просмотров:
    587
  5. Darina
    Ответов:
    2
    Просмотров:
    529
Загрузка...
Статус темы:
Закрыта.