Многопоточный Python Parser с Proxy, Cookie.
Есть интернет-магазин.
У него есть регионы (60 шт).
Есть 19 товаров.
Нужно пройти по всем регионам
Пройти по всем товарам
Арендовано 70 проксей.
Выкачать все страницы:
curl_setopt($curl, CURLOPT_URL, $url);
curl_setopt($curl, CURLOPT_COOKIE, "iRegionSectionId=" . $regionID);
Результат парсера: сохранение страниц в папку cache с именем:
$fileName = hash('sha512', $url . $regionID . date('d-m-Y'), false).".html";
Основная проблема:
У интернет-магазина есть какая-то защита.
И со временем загрузки страниц начинают длиться 62-64 секунды
Если участиться – 124-127 секунд.
Поэтому нужна многопоточность. Чтобы парсинг не затягивался.
Опубликован 28.06.2016 в 16:44
Заказ находится в архиве