Вопрос про robots.txt

Тема в разделе "Общие вопросы оптимизации", создана пользователем Pilot74, 11 июн 2012.

Статус темы:
Закрыта.
  1. Pilot74

    Pilot74 На форуме с: 11 июн 2012 Сообщения: 3

    Здравствуйте. Прошу посмотреть, правильно ли составлен robots.txt для моего сайта

    Сам сайт: http://btgsworld.ts6.ru/index.php
  2. mark3000

    mark3000 На форуме с: 7 окт 2010 Сообщения: 540

    Сам сайт не посмотрел тут нужно проанализировать, но на первый взгляд могу сказать:
    1. Не пишите при адресе сайта index.php на конце после слэша.
    2. Добавить Host, что бы бот понял какой именно адрес ему принять и все ссылки на страницы пишите так как указано в этой директиве (то есть с www или без).
Similar Threads
  1. VooDooManiac
    Ответов:
    5
    Просмотров:
    1.118
  2. alexman30
    Ответов:
    17
    Просмотров:
    2.462
  3. DanceCluber
    Ответов:
    3
    Просмотров:
    622
  4. Fish_su
    Ответов:
    5
    Просмотров:
    631
  5. МурадМ
    Ответов:
    4
    Просмотров:
    299
Загрузка...
Статус темы:
Закрыта.