Необходимо сделать пасрер каталога запасных частей с сайтов, с заданными перед парсингом URL. (Домены для парсинга могут быть разные, но структура страниц у них одинаковая например
или
)
Требования к парсеру:
Вводим в парсер URL каталога для парсинга.
Вводим прокси ( при наличии таковых)
Запускаем парсинг.
1) результат должен быть получен в виде файла csv или xls. Количество строк в одном файле не должно превышать 100тыс. Образец прилагается.
Для каждых следующих 100 тыс строк создаётся новый файл.
2) возможность подключение прокси, чтобы не увеличивать вероятность получить блокировку IP-адреса
3) Парсер должен иметь регулировку настройки задержки между запросами к каталогу.
По умолчанию задержками при использовании основного IP-адреса или выделенных дорогих прокси-серверов являются значения от 20 000 до 25 000 мс.
4) парсинг в несколько потоков. ( не более одного потока на один прокси)
5) Возможность регулировки Таймаута ожидания ответа от сервиса ( по умолчанию 35000мс)
6) При ошибках получения ответа от сервиса (таймаут ответа и т.п.) исключать прокси-сервер