многопоточный парсер на python
1. Каждый поток получает свой адрес прокси
2. Поток из очереди выбирает адрес для скачивания данных и результаты складывает в другую очередь для вычислений. Пауза скачивания 3 секунды в рамках 1 айпи
3. Пул процессов обрабатывает данные из очереди и передает в очередь на загрузку
4. Поток на загрузку сохраняет данные в базе postgresql
Запуск в windows
Опубликован 23.12.2019 в 14:07