Как пропарсить выдачу гугла?

Тема в разделе "Общие вопросы оптимизации", создана пользователем poweruser84, 4 ноя 2013.

Статус темы:
Закрыта.
  1. poweruser84

    poweruser84 На форуме с: 3 ноя 2013 Сообщения: 5

    Здравствуйте всем

    Сохраняю страницы из кэша Гугла. Нужен контент, который был удален в новых версиях сайта.
    Написал простой автоматизатор (запись движений мышки и действий в браузере). После сохранения примерно 70 страниц из кэша (с интервалами на имитацию движений мышью, т.е. скрипт не совсем автоматизирован) появляется такое сообщение:
    "Мы зарегистрировали подозрительный трафик, исходящий из вашей сети. Повторите запрос позднее. Почему это могло произойти?"
    Т.е. мой ip-адрес банится на несколько часов. Пробовал работать через Opera Turbo(по идее, адрес используется другой, публичный) - все-равно банится.

    Какие есть способы обхода этого?
    --- добавлено: 4 ноя 2013 в 16:19 ---
    Может софт какой-нибудь есть????
  2. Chudenkov

    Chudenkov На форуме с: 12 ноя 2010 Сообщения: 1.915

    Прокси.
  3. poweruser84

    poweruser84 На форуме с: 3 ноя 2013 Сообщения: 5

    Вопрос только где взять списки прокси (чтобы были не в бане у гугла) и какой софт нужен софт для переключения проксей (желательно горячей клавишей и только между проверенными на живучесть проксями).
  4. MasterMarti

    MasterMarti На форуме с: 24 окт 2013 Сообщения: 6

    Из моих наблюдений:

    1. Публичные прокси забанены почти все в Гугле. Из 500-1000 адресов проверку на доступ проходят где-то парочка (2-3 прокси + несколько проксей с капчей).

    2. Увеличение интервалов проверки помогает. Например увеличил интервал запросов до 10-100 секунд (да, не быстро). Парсил выдачу почти сутки напролет. Медленно, зато не банит. Из двух, как говорится, выбирают меньшее. При интервалах с 5 секунд попадается периодически капча, но антигейт вводит и дальше идет проверка. Если хочется быстрее и снизить интервалы - попадается капча вплоть до перманентного бана айпишника (которые вроде как спустя несколько суток снимается все-таки).
Статус темы:
Закрыта.