Спарсить мотозапчасти
Уже скачены все разделы/подразделы, все картинки.
Осталось только сами запчасти, но сайт забанил наш сервер, и при частых обращениях выдает временно 500 ошибку (и чем чаще, тем дольше выдает эту ошибку).
Вот есть 2 миллиона ссылок, по которым надо пройтись и получить информацию.
Еще есть инфа что их сервер начинает падать если запускать многопоточный скрипт через прокси, и использовать более 20-ти коннектов (тоесть более 20-ти страниц в секунду – он падает).
Их сервер находится в селектеле, мне кажется тут какая то ошибка.
Написаны скрипты и они работают – php / angryCurl / RollingCurl / phpQuery
Все допрасходы – за наш счет
Срок очень жесткий, 2 суток, только СБР
Оставляйте скайп
Опубликован 23.12.2014 в 14:48 Последнее изменение: 23.12.2014 в 15:49