Нужна помощь Sitemap и Robots. Профи помогите.

Тема в разделе "Общие вопросы оптимизации", создана пользователем Руслан, 29 окт 2013.

Статус темы:
Закрыта.
  1. Руслан

    Руслан На форуме с: 29 окт 2013 Сообщения: 6

    Добрый день всем.

    Проблема следующего характера, сайт с большим количеством загруженных страниц (www.mtk.ru) в Вэбмастере около 1 200 000 в поиске всего 995 :)) Постоянно "колбасит" то вверх до 3 000 страниц то вниз как сейчас.

    В Robots хочу закрыть доступ к разделам не нужным в индексации и в sitemap создать "индекс" с подкартами. Проблема в том что не знаю как убрать длинные имена в поисках - портят индексацию и далеко не спец по таким вопросам.

    Обращался ко многим - без результатно. Самому хочется разобраться. Хэлп ?

    Подскажите пж. с чего начать ?
  2. GreenT

    GreenT На форуме с: 20 сен 2013 Сообщения: 103

    У вас так называемые человеко понятные урлы (ЧПУ) их и рекомендуют делать всегда, в чем проблема с именами?

    пример роботс для яндекса

    Первое идет само имя бота, для которого инструкция
    сл команда означает запрет и после двоеточия указываем что запрещаем - в данном случае все урлы сайта начинающиеся на /cgi-bin

    курите этот сайт http://robotstxt.org.ru/ там все достаточно просто и подробно расписано

    User-agent: Yandex
    Disallow: /cgi-bin
  3. Руслан

    Руслан На форуме с: 29 окт 2013 Сообщения: 6


    Спасибо. Огромное. Почитаю.

    Если что можно задавать вопросы ?
  4. GreenT

    GreenT На форуме с: 20 сен 2013 Сообщения: 103

    а почему нельзя то )
  5. Руслан

    Руслан На форуме с: 29 окт 2013 Сообщения: 6

    Добрый вечер или день.

    Подскажите пж, команда:
    Disallow: /list/rent/rooms/?* - все папки и тд после ? индексироваться не будут. Пример: /list/rent/rooms/?ren3737 не пойдет на посещение робота.

    Я правильно понял команду ?

    Спс
  6. GreenT

    GreenT На форуме с: 20 сен 2013 Сообщения: 103


    Не правильно

    Disallow: /list/rent/rooms*

    вот это верное решение

    курите это дополнительно http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml
  7. leshii

    leshii Модератор На форуме с: 4 сен 2011 Сообщения: 2.539 Команда форума

    а если /list/rent/rooms/itemnumber нужно индексировать? или /list/rent/roomscat
    вопрос ведь был "закрыть все, что после "?".
    --- добавлено: 1 ноя 2013 в 01:13 ---
    да.
    Marketologov нравится это.
  8. Marketologov

    Marketologov На форуме с: 6 фев 2011 Сообщения: 2.068

    leshii, прав в данном случае.

    Зачем Вам их закрывать и как они могут портить индексацию?
    Это дубли?
    Если нет, то их лучше не закрывать.

    Вот можете почитать мою статью

    Для проверки,что бы каждый раз не задавать вопросы и не ждать на них ответов, пользуйтесь этим
    Тут можно все проверить и протестовать, что будет индексировать, а что нет.
  9. MasterMarti

    MasterMarti На форуме с: 24 окт 2013 Сообщения: 6

    В таком случае не лучше ли будет сразу отмести все "вопросы":
    Disallow: /*?*

    ?
  10. leshii

    leshii Модератор На форуме с: 4 сен 2011 Сообщения: 2.539 Команда форума

    Только в том случае, если вы полностью уверены, что все URL со знаком вопроса на любой позиции не являются необходимыми для индексации.
  11. Руслан

    Руслан На форуме с: 29 окт 2013 Сообщения: 6

    Огромное спасибо ВСЕМ !!!
  12. Руслан

    Руслан На форуме с: 29 окт 2013 Сообщения: 6

    Добрый день.

    Уважаемые гуру - еще вопрос:

    1. Карточка объекта:

    Конкурент с карточкой: http://www.cian.ru/sale/flat/2296785 попадают в индексацию Яндекса сразу.

    Наша карточка: http://www.mtk.ru/list/sale/flats/msk/nao/id-3351243 не попадают

    Какие есть мысли что бы - как то упростить страницу или что то еще попробовать что бы "карточки" проваливались в Яндексе.

    Есть поддомены, на них хочу и проэксперементировать. Предлагайте любые идеи, плиз.
  13. GreenT

    GreenT На форуме с: 20 сен 2013 Сообщения: 103

    я бы на степень вложенности обратил внимание. 6-й уровень у вас против 3-го у конкурентов
  14. Руслан

    Руслан На форуме с: 29 окт 2013 Сообщения: 6


    огромное спасибо, светлая мысль. Как не додумался :)) СПС. отпишусь как вышло
  15. Optimist_

    Optimist_ На форуме с: 17 фев 2014 Сообщения: 8

    Есть ли смысл создавать файлы Satemap и Rotots для небольшого сайта на хтмл? www.avtospas13.ru
Статус темы:
Закрыта.