Создание robots.txt для магазина на друпал

Тема в разделе "Веб-разработка", создана пользователем mckey, 16 апр 2013.

Статус темы:
Закрыта.
  1. mckey

    mckey На форуме с: 7 янв 2011 Сообщения: 48

    Здравствуйте. В тонкостях настройки robots.txt, увы, не силен. Тем более - друпал. В и-нете нашел несколько шаблонов файла, но, так как не знаю, что этими директориями разрешаю-запрещаю, сомневаюсь в целесообразности выкладывания оного.
    Представляется следующая картина. В магазе есть каталог товаров, новости и несколько статей. Все остальное - резать немедленно, не дожидаясь перитонита. То есть, как-то так:

    User-agent: *
    Allow: /products
    Allow: /news
    Allow: /page1
    Allow: /page2
    Disallow: /*
    Sitemap: http://sitename.ru/sitemap.xml
    Host:sitename.ru

    Сейчас пороюсь - добавлю папку с картинками.
    Логика мне подсказывает, что все просто и должно работать наиболее эффективно.. НО! Это "просто" как раз и беспокоит - ну, не специалист я...
    Просьба к сведущим людям - поправить (добавить, одобрить)
    И еще одно. Нужно ли запрещать к индексации отдельно лежащие на сервере файлы (cron.php, update.php, всякие текстовые файлы и т.д.), или
    Disallow: /* их и так убивает?
  2. Marketologov

    Marketologov На форуме с: 6 фев 2011 Сообщения: 2.068

    возьмите в пример вот этот файл

    он убивает все кроме
    Allow: /products
    Allow: /news
    Allow: /page1
    Allow: /page2

    в том числе и главную страницу...

    линк по теме
  3. mckey

    mckey На форуме с: 7 янв 2011 Сообщения: 48

    Спасибо за линк и файл!
  4. iMessi89

    iMessi89 На форуме с: 19 июн 2012 Сообщения: 979

    mckey, директивы Allow в роботсе не существует.
  5. mckey

    mckey На форуме с: 7 янв 2011 Сообщения: 48

    ????????????
  6. malfarm

    malfarm На форуме с: 11 май 2013 Сообщения: 3

    Да почему же, существует, просто некоторые поисковики её игнорируют. Вот например яндекс поймёт её.
Статус темы:
Закрыта.