robots.txt для DLE

Тема в разделе "Общие вопросы оптимизации", создана пользователем [biskvit], 14 апр 2012.

Статус темы:
Закрыта.
  1. [biskvit]

    [biskvit] На форуме с: 25 мар 2012 Сообщения: 28

    Доброго времени суток. Прошу помочь разобраться с robots.txt для DLE сайта.

    Прочитал несколько статей про оптимизацию сайта на DLE. Все они предлагают делать разные robots.txt.
    Эта статья предлагает такой:
    + некоторые параметры, предложенные ими в статье.
    У них на сайте стоит такой robots:

    В другой статье предлагают такой robots:

    У меня на сайте robots такой:

    В общем в голове у меня образовалась полная каша с этими роботсами. Подскажите пожалуйста, как мне его оформить, какой статье следовать.
    Спасибо.
    1 человеку нравится это.
  2. Winner

    Winner На форуме с: 9 апр 2012 Сообщения: 28

    Я предлагаю такой как на моём сайте:

    закрыл все архивы на несколько лет вперед, убрал всю лишнюю мишуру. Но открыл для яндекс и гугл партнерок. Пока ты не поймешь суть robots.txt правильно ты его не составишь, а как только поймешь - у тебя сложится понятие о том, что нужно оставить открытым а что скрыть. Если не трудно нажмите спасибо на сообщении!
    С уважением, Александр!
    2 пользователям это понравилось.
Similar Threads
  1. VooDooManiac
    Ответов:
    5
    Просмотров:
    1.542
  2. alexman30
    Ответов:
    17
    Просмотров:
    2.304
  3. Skolzage
    Ответов:
    2
    Просмотров:
    834
  4. Marketologov
    Ответов:
    1
    Просмотров:
    958
  5. White1267
    Ответов:
    10
    Просмотров:
    1.048
Загрузка...
Статус темы:
Закрыта.