Сайт вылетел из индекса. Возможные причины.

Тема в разделе "Яндекс", создана пользователем Radha, 24 май 2012.

Статус темы:
Закрыта.
  1. Radha

    Radha На форуме с: 20 мар 2012 Сообщения: 62

    Ситуация следующая. Есть информационное агентство. У него сайт. Разные интересности, а так же новости по региону. На 90% статьи копипаст с указанием первоисточника. Сайт создан 7 лет назад, имеет несколько сотен тысяч страниц. Занимался этим сайтом паренек-программист и сеошник в одном лице. Он переехал в другой город и не очень хорошо расстался с начальством.
    Я пришла и в ходе продвижения сайта обнаружила массу левых страниц на сайте, ссылки на скачивание фильмов, порнография и так далее. Каталоги с данными страницами сначала были закрыты, так как удалить их программист не смог. Или сделал вид, что не смог. Они какое-то время висели, потом все-таки были удалены. В этот момент я сглупила, я не закрыла их их в robots.
    На прошлой неделе количество страниц в индексе сократилось до трехсот шестидесяти. Мы с программером закрыли все найденые в индексе левые ссылки для индексации. Этих страниц уже нет на сайте, 404 ошибка. После вчерашнего апа осталось 2 страницы в индексе. В вебмасте до апа показывало 84 тысячи страниц с 404 ошибкой.

    Вопрос, связано ли исчезновение из индекса с левыми страницами, или с массовой 404 ошибкой? Или возможны другие варианты?
    Второй вопрос - что делать? Куда двигаться, в каком направлении.

    Поскольку на ресурсе масса поддоменов и миллиарды каталогов, разгрести всю эту помойку крайне сложно. Много мусора, и нынешний программер не берется за его удаление. Я предлагала начальству грохнуть ресурс :a18:, как вариант и начать с нуля. Но там есть некоторый тИЦ и PR, и семь лет работы вложено. Хотя начальство еще думает над этим вариантом. Все же, помогите советом. Что можно предпринять.
  2. Erezerblade

    Erezerblade На форуме с: 27 апр 2012 Сообщения: 230

    IMHO, основываясь на моём опыте, могу сказать, что если ресурс полежит в дауне 12 часов, из индекса его не уберут. Либо просто вас очень "удачно" застал поисковый робот.

    Такое резкое сокращение страниц в индексе скорее всего из-за левых страниц. Проверьте, попали ли вы под фильтр, либо напишите Платону.

    Двигаться всё же нужно в направлении удаления мусора. Если программист не хочет вам помочь 1) Удаление может уронить сайт 2) Он недобросовестный работник, емк поможет профилактический пендель.

    Если тИЦ приличный, то с удалением ресурса нужно повременить. Сначала попробуйте его спасти.
    1 человеку нравится это.
  3. Radha

    Radha На форуме с: 20 мар 2012 Сообщения: 62

    Как технически проверить попал ли сайт под фильтр.
    тИц не очень приличный, 70
  4. Erezerblade

    Erezerblade На форуме с: 27 апр 2012 Сообщения: 230

    Я пользуюсь xtool.ru О других сервисах пока не знаю. Я бы на вашем месте сначала Платону написал.
  5. Radha

    Radha На форуме с: 20 мар 2012 Сообщения: 62

    Платону обязательно напишу. Просто хотелось узнать, что профи здесь скажут.
    У меня xtool.ru выдает красный кружок на АГС. Это значит попали?
  6. Erezerblade

    Erezerblade На форуме с: 27 апр 2012 Сообщения: 230

    Да, вы попали под фильтр. Пишите письма Платону, либо обратитесь к пользователю SlonoTOP. Он как раз писал про помощь по выходу из под АГС.
  7. Radha

    Radha На форуме с: 20 мар 2012 Сообщения: 62

    Да, объявление SlonoTOP`a уже видела, спасибо.
    У меня есть некоторый опыт выведения сайта из-под бана Яндекса. Там в причинах был, скорее всего, неуникальный контент, как я подозреваю. Пойду писать Платону.
  8. Dante

    Dante Супер-модератор На форуме с: 17 мар 2011 Сообщения: 5.026 Команда форума

    Radha,может вначале сайт покажете? Можно в Л.С.
  9. Radha

    Radha На форуме с: 20 мар 2012 Сообщения: 62

    Скинула в ЛС
  10. Nickel

    Nickel На форуме с: 28 май 2012 Сообщения: 19

    Занавес. Вот она суровая челябинская seo-оптимизация. Теперь я ваш поклонник. :a24: Что вы делаете сегодня вечером? :a23:

    А если серьезно - то наверняка нужно было нормально настроить Robots.txt. Если у вас в какой-то момент была в индексе куча страниц с откровенным Г : типа порно и ссылок на левые сайты, то конечно, сайт попал под фильтр. Так же важно, чтобы не было дублей страниц в индексе.
  11. Radha

    Radha На форуме с: 20 мар 2012 Сообщения: 62

    А почему челябинская, если не секрет?
    Грохнуть ресурс предлагала, потому как сейчас они сами не знают, зачем им этот ресурс нужен. В данный момент никто им не занимается, и на сегодняшний день нет совершенно никакой концепции ресурса.

    Насчет robots'a согласна полностью. Это мой косяк. Но я знакома с сео всего-навсего 4 месяца, и еще обучаюсь. А взяли меня сеошником (:a4:) потому как я единственный человек из двух с половиной, пришедших на собеседование, который знал что такое тИЦ и закупка ссылок. Поэтому попрошу строго не судить. :a30:
    А вечером я, как обычно, сижу с ребенком. Если есть идеи, чем занять трехлетку, милости просим. :a48:

    ---------- Сообщение добавлено в 10:35 ---------- Предыдущее сообщение размещено в 10:31 ----------

    Вчера, кстати, 1000 страниц появилась в Яндексе, включая те же левые, которые закрыты в robots.txt. При попытки удалить их из выдачи силами панели Яндекса, он, при вводе адреса, пишет, что данная страница не проиндексирована. Хотя она и находится в выдаче и закрыта в robots.txt.
    И технический вопрос. Как закрыть дубли, проверить страницы на дубли, если на сайте стотыщмильонов страниц?
  12. Nickel

    Nickel На форуме с: 28 май 2012 Сообщения: 19

    Потому что убивать 3-ех летний ресурс, потому что его не получается грамотно настроить - это очень суровые методы.
    Если у вашей фирмы упадет прибыль, вы ведь наверно не предложите начальству ее закрыть ? ;)


    Как правило +100500 страниц появляются из за того, что криво настроен скрипт, который эти страницы создает.
    Очень часто в выдаче страницы имеют аргументы типа ?mode= или ?id= или ?folder= и т.д. и т.п. Соответственно руками надо понять почему такие дубли появляются, руками посмотреть соответствующие страницы, после чего просто закрыть от индексации страницы в адресе которых есть соответствующие куски через Disallow :
  13. Radha

    Radha На форуме с: 20 мар 2012 Сообщения: 62

    Ресурсу семь лет. И он постоянно растет. Хотя и не имеет четкой концепции.
    Кроме того, неизвестно точное количество страниц с левым содержанием.

    Что-то, конечно, закрыли от индексации. Но, явно не все. А поскольку начальство думает, есть ли резон дальше содержать этот ресурс, я сейчас ничего не делаю до решения руководства.
    Но, если решат оставить, конечно ж буду заниматься. Спасибо за совет про дубли.

    ---------- Сообщение добавлено 30.05.2012 в 11:16 ---------- Предыдущее сообщение размещено 29.05.2012 в 12:11 ----------

    Хе-хе, после сегодняшнего апа 1 страничка в индексе
  14. Radha

    Radha На форуме с: 20 мар 2012 Сообщения: 62

    Ну вот долгожданный ответ Платона :)
    ---------
    После анализа и классификации страниц Вашего сайта наши алгоритмы приняли решение ограничить его в поиске. Обратите внимание, что не все страницы, известные поиску Яндекса, включены в индекс и ранжируются высоко. Их включение и позиция зависят от качества сайта и его контента. На решение алгоритма может оказать влияние использование поискового спама, наличие на сайте страниц предназначенных для робота-индексатора, а не для чтения пользователями, размещение неуникальной информации и др. факторы.

    Наше понимание качественных сайтов отражено в следующих документах:
    http://help.yandex.ru/webmaster/?id=995342
    http://webmaster.ya.ru/replies.xml?item_no=325&ncrnd=2022
    http://webmaster.ya.ru/replies.xml?item_no=3772
    http://webmaster.ya.ru/replies.xml?item_no=4967&ncrnd=1743

    Мы стараемся настраивать и улучшать алгоритмы поиска так, чтобы сайты, соответствующие этим рекомендациями, быстро и полно индексировались и находились на высоких позициях по релевантным запросам.

    Если Вы будете развивать сайт для пользователей, размещать уникальную и полезную информацию и следовать нашим рекомендациям, Ваш сайт со временем обязательно восстановится в поиске.

    -----------
Статус темы:
Закрыта.