Нужна помощь Sitemap и Robots. Профи помогите.

Добрый день всем.

Проблема следующего характера, сайт с большим количеством загруженных страниц (www.mtk.ru) в Вэбмастере около 1 200 000 в поиске всего 995 :)) Постоянно "колбасит" то вверх до 3 000 страниц то вниз как сейчас.

В Robots хочу закрыть доступ к разделам не нужным в индексации и в sitemap создать "индекс" с подкартами. Проблема в том что не знаю как убрать длинные имена в поисках - портят индексацию и далеко не спец по таким вопросам.

Обращался ко многим - без результатно. Самому хочется разобраться. Хэлп ?

Подскажите пж. с чего начать ?

У вас так называемые человеко понятные урлы (ЧПУ) их и рекомендуют делать всегда, в чем проблема с именами?

пример роботс для яндекса

Первое идет само имя бота, для которого инструкция
сл команда означает запрет и после двоеточия указываем что запрещаем - в данном случае все урлы сайта начинающиеся на /cgi-bin

курите этот сайт http://robotstxt.org.ru/ там все достаточно просто и подробно расписано

User-agent: Yandex
Disallow: /cgi-bin

Спасибо. Огромное. Почитаю.

Если что можно задавать вопросы ?

а почему нельзя то )

Добрый вечер или день.

Подскажите пж, команда:
Disallow: /list/rent/rooms/?* - все папки и тд после ? индексироваться не будут. Пример: /list/rent/rooms/?ren3737 не пойдет на посещение робота.

Я правильно понял команду ?

Спс

Не правильно

Disallow: /list/rent/rooms*

вот это верное решение

курите это дополнительно http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml

leshii, прав в данном случае.

Зачем Вам их закрывать и как они могут портить индексацию?
Это дубли?
Если нет, то их лучше не закрывать.

Вот можете почитать мою статью

Для проверки,что бы каждый раз не задавать вопросы и не ждать на них ответов, пользуйтесь этим
Тут можно все проверить и протестовать, что будет индексировать, а что нет.

В таком случае не лучше ли будет сразу отмести все "вопросы":
Disallow: /*?*

?

Огромное спасибо ВСЕМ !!!

Добрый день.

Уважаемые гуру - еще вопрос:

1. Карточка объекта:

Конкурент с карточкой: http://www.cian.ru/sale/flat/2296785 попадают в индексацию Яндекса сразу.

Наша карточка: http://www.mtk.ru/list/sale/flats/msk/nao/id-3351243 не попадают

Какие есть мысли что бы - как то упростить страницу или что то еще попробовать что бы "карточки" проваливались в Яндексе.

Есть поддомены, на них хочу и проэксперементировать. Предлагайте любые идеи, плиз.

я бы на степень вложенности обратил внимание. 6-й уровень у вас против 3-го у конкурентов

огромное спасибо, светлая мысль. Как не додумался :)) СПС. отпишусь как вышло

Есть ли смысл создавать файлы Satemap и Rotots для небольшого сайта на хтмл? www.avtospas13.ru