Помощник
|
помогите с парсером |
EnterBack
|
Сообщение
#1
|
||
|
|
||
|
|||
UncleM |
31.3.2010, 23:34;
Ответить: UncleM
Сообщение
#2
|
|
Весь этот код просто нужно запускать для каждой страницы отдельно, т.е. 39 раз.
Кстати, на сервере установлен cURL? Можно все сделать короче и быстрее. Ссылко. -------------------- |
|
|
EnterBack
|
Сообщение
#3
|
|
ты че гонишь, у меня была эта мысль, но ты представляешь сколько это будет весить и сколько это все будет грузится ???:))
|
|
|
UncleM |
1.4.2010, 0:33;
Ответить: UncleM
Сообщение
#4
|
|
Гонят самогон, а это не ко мне.
Так каким ты велосипедом хочешь тогда все парсить? Силой мысли? 39 GET запросов всего, чему тут весить? Я недавно делал парсер для сканирования сайта с играми. Он напарсил материала на 3.5 ГБ, пропарсил сотни страниц и более 6000 файлов. Парсилось все моментально (отдельные файлы, то есть). -------------------- |
|
|
ZhukV |
1.4.2010, 0:35;
Ответить: ZhukV
Сообщение
#5
|
|
ElectriK, я ж те вчера дал скрипт, зачем ты его не используеш? Открывая через сокет, ты еще более валиш свой сервер, чем через fopen()!!!!
Весь этот код просто нужно запускать для каждой страницы отдельно, т.е. 39 раз. Вполне верно. прорускай через цыкл. Кстати, на сервере установлен cURL? Можно все сделать короче и быстрее. Ссылко. Такие сервера, как qip, должны иметь страницу (HTML, XML), где срау видно все статусы. |
|
|
ZhukV |
1.4.2010, 0:44;
Ответить: ZhukV
Сообщение
#6
|
|
Я недавно делал парсер для сканирования сайта с играми. Он напарсил материала на 3.5 ГБ, пропарсил сотни страниц и более 6000 файлов. Парсилось все моментально (отдельные файлы, то есть). А вот это ты гониш!!!! Даже если и скрипт парсил, ресурсы сервера не покатят!!!!!! Сервер подохнет, либо стоит СУПЕР-ПУПЕР сервак. Но таких, кроме серваком Microsoft, Yandex, Mail, BigMir, Google и других продвинутых сервисов, я не встечал. Он напарсил материала на 3.5 ГБ Да ты только представь, сколько нужно только ОЗУ сервера, чтоб сохранить этот код в статическую память сервера. Я уж не заикаюсь уже о процесорном времени. 6000 файлов А вот здесь интересно, как ты прощел цыкл? Поделишся :) Парсилось все моментально Моментом и приблизительно не пропарится, даже если и стоит ресурсы СУПЕР-ПУПЕР. ---------------------------------------------------------------------- P.S. Возможно я и не прав, но тогда наведи прямой факт. |
|
|
UncleM |
1.4.2010, 3:45;
Ответить: UncleM
Сообщение
#7
|
|
Да причем тут ОЗУ? Скрипт качал страницу, видергивал описание, ссылки на скриншоты и саму игру (флэш), потом скачивал это все на диск. Нафига это в ОЗУ хранить?
Я не говорил, что я запускал на сервере. Я запускал на своем полуживой ноуте через командную строку, чтобы не грузить сервер зря и не бороться с таймаутами: C:\blah\php.exe parse.php и скрипт работал. Работал он 6 часов, но 99% времени ушло на скачивание картинок и флэш файлов, 3.5 ГБ все-таки. Я вам говорю как есть. А что ТС не нравится правильная идея с парсингом всех страниц отдельно, так это уже его воля. Если он изобретет метод скачки 39 разных страниц одним HTTP запросом, то я буду считать его кодером-гением и мысленно поставлю ему памятник. -------------------- |
|
|
ZhukV |
2.4.2010, 9:49;
Ответить: ZhukV
Сообщение
#8
|
|
Нафига это в ОЗУ хранить? А вот с этим обратись к руководству OC Windows!!! Все переменные хранятся в ядре PHP. Но тогда интересно, как работает пхп на компе, или другая прога. Если хочешь разобратся, пойди немного в сторону ассембера. Вот там все расписано, что даже если иеется нулевой байт, он все же будет также записан в ОЗУ как 0x00, относительно ячейки памяти, kernel (компонент ядра винды) сама их распределяет. Так что все что ты делаеш на компе, ВСЕ ЛЕТИТ СНАЧАЛА ЧЕРЕЗ ОЗУ Найбольше ОЗУ используется при использование буфера памяти: 1. Копирование дисков 2. Создание образов дисков (буферы очень огромные) 3. Генерация картинок 3. Создание видео. 4. Прочье |
|
|
Letmetouchyou |
2.4.2010, 10:44;
Ответить: Letmetouchyou
Сообщение
#9
|
|
ZhukV, подумй лутше, перед тем как писать
|
|
|
ZhukV |
2.4.2010, 15:01;
Ответить: ZhukV
Сообщение
#10
|
|
Letmetouchyou, чего-то я тебя не понял. К чему это ты.
|
|
|
|
Похожие темы
Тема | Ответов | Автор | Просмотров | Последний ответ | |
---|---|---|---|---|---|
Помогите вспомнить рекламного бота Телеграм для обмена рекламой | 0 | Mixatraider | 678 | 21.2.2024, 23:42 автор: Mixatraider |
|
Помогите рещить проблему с монитором. Почему низкое разрешение при подключении монитора через displayport? |
0 | Levels | 1694 | 11.12.2020, 0:48 автор: Levels |
|
Помогите кто нибудь получить партнерку Росбанк! | 7 | heisenberg_mw | 2302 | 7.8.2020, 9:28 автор: heisenberg_mw |
|
Помогите найти тему пожалуйста | 7 | virtas | 12375 | 24.7.2020, 17:02 автор: -JamesSmips- |
|
Помогите с поиском доноров | 3 | tehno_music | 3324 | 4.11.2019, 17:15 автор: goblin78 |
Текстовая версия | Сейчас: 19.3.2024, 17:58 |