Нужно написать парсер сайта, у которого, к сожалению, нет API.
Задача запускать парсер через крон в несколько потоков с разными IP и юзерагентами несколько раз в сутки.
Результаты пишем в базу.
Подробности – кандидату.
Сложности, которые необходимо решить:
1) Сайты не дадут создать слишком много запросов с одного IP/юзерагента в короткий срок (но объем информации, которую нужно получить – не самый маленький).
2) Соответственно, нужно делать через прокси или каким-то еще образом, но этот вопрос решить
Опубликован 07.02.2016 в 15:21