Игнорирование Robots.txt

Тема в разделе "Яндекс", создана пользователем Dante, 27 фев 2015.

Статус темы:
Закрыта.
  1. Dante

    Dante Супер-модератор На форуме с: 17 мар 2011 Сообщения: 5.026 Команда форума

    Привет всем! Файл robots.txt - крайне важная штука для поисковых роботов. Эта инструкция помогает корректно индексировать содержимое сайта, тем самым показывая в результатах поиска только нужную информацию.

    Но существуют проблемы, когда, например, Яндекс не обращает внимание на правила, установленные/прописанные в этом файлике.

    О решение этой проблемы написал Платон Щукин у себя в блоге. Проверяйте, исправляйте и индексируйтесь правильно:)
    Youshimitsu и leshii нравится это.
  2. Miha_Kregov

    Miha_Kregov На форуме с: 23 июн 2011 Сообщения: 402

    Мне кажется, что если кто-то не уверен в правильности синтаксиса своего robots.txt, то лучше пользоваться <META NAME="ROBOTS" CONTENT="NOINDEX">
    Я лично использую оба варианта одновременно.
Similar Threads
  1. VooDooManiac
    Ответов:
    5
    Просмотров:
    1.542
  2. alexman30
    Ответов:
    17
    Просмотров:
    2.303
  3. Skolzage
    Ответов:
    2
    Просмотров:
    833
  4. Marketologov
    Ответов:
    1
    Просмотров:
    956
  5. Linblack
    Ответов:
    0
    Просмотров:
    599
Загрузка...
Статус темы:
Закрыта.