Исключение страниц.

Тема в разделе "Общие вопросы оптимизации", создана пользователем Olegen33, 20 июл 2012.

Статус темы:
Закрыта.
  1. Olegen33

    Olegen33 На форуме с: 7 июн 2012 Сообщения: 7

    Всем доброго времени суток, сразу извинюсь за глупый вопрос, но я пока мало чего понимаю в индексации сайта. Есть сайт http://hd7.tv/, в "Вебмастере Яндекса, написано:

    ТИЦ [​IMG]меньше 10
    Страниц в поиске 290
    Внешних ссылок на страницы сайта 1
    Дата последнего посещения сайта роботом19.07.2012
    Загружено роботом 3290 Исключено роботом 1229


    Я заметил то, что исключено много страниц, эти страницы "теги (ключевые слова к фильмам)". Когда я перешел на "Исключено роботом" там увидел:

    Документ запрещен в robots.txt 1223

    Как можно сделать так, чтобы яндекс добавил это ключевые слова в индекс? Или это нормально, что они исключаются из индекса?

    Вот сам robots.txt :


    User-agent: *
    Disallow: /*print
    Disallow: /autobackup.php
    Disallow: /admin.php
    Disallow: /user/
    Disallow: /favorites/
    Disallow: /index.php?do=register
    Disallow: /?do=lastcomments
    Disallow: /statistics.html
    Disallow: /rules.html
    Disallow: /index.php?do=feedback
    Disallow: /index.php?do=rules
    Sitemap: http://hd7.tv/sitemap.xml
    User-agent: Yandex
    Host: hd7.tv
  2. Chudenkov

    Chudenkov На форуме с: 12 ноя 2010 Сообщения: 1.915

    Данные страницы не являются уникальными и исключены из выдачи, т.к. повторяют контент вашего сайта на различных страницах, в вашем случае - это страницы с тегами.
    Правильный robots.txt:
    2 пользователям это понравилось.
  3. Olegen33

    Olegen33 На форуме с: 7 июн 2012 Сообщения: 7

    Спасибо большое за робота и информацию, буду знать.
  4. BLADE

    BLADE На форуме с: 24 окт 2009 Сообщения: 775

    Chudenkov, через какой сервис делаешь робота для сайта?
  5. Chudenkov

    Chudenkov На форуме с: 12 ноя 2010 Сообщения: 1.915

    BLADE, руками я делаю.
Статус темы:
Закрыта.