Вопрос про robots.txt

Тема в разделе "Общие вопросы оптимизации", создана пользователем Pilot74, 11 июн 2012.

Статус темы:
Закрыта.
  1. Pilot74

    Pilot74 На форуме с: 11 июн 2012 Сообщения: 3

    Здравствуйте. Прошу посмотреть, правильно ли составлен robots.txt для моего сайта

    Сам сайт: http://btgsworld.ts6.ru/index.php
  2. mark3000

    mark3000 На форуме с: 7 окт 2010 Сообщения: 480

    Сам сайт не посмотрел тут нужно проанализировать, но на первый взгляд могу сказать:
    1. Не пишите при адресе сайта index.php на конце после слэша.
    2. Добавить Host, что бы бот понял какой именно адрес ему принять и все ссылки на страницы пишите так как указано в этой директиве (то есть с www или без).
Similar Threads
  1. VooDooManiac
    Ответов:
    5
    Просмотров:
    1.083
  2. alexman30
    Ответов:
    17
    Просмотров:
    2.305
  3. DanceCluber
    Ответов:
    3
    Просмотров:
    569
  4. Fish_su
    Ответов:
    5
    Просмотров:
    605
  5. МурадМ
    Ответов:
    4
    Просмотров:
    262
Загрузка...
Статус темы:
Закрыта.