Нужно написать парсер нескольких сайтов (ryanair.com, wizzair и еще несколько), у которых, к сожалению, нет API.
Задача запускать парсер через крон в несколько потоков с разными IP и юзерагентами несколько раз в сутки.
Результаты пишем в базу.
Подробности – кандидату.
Сложности, которые необходимо решить:
1) Сайты не дадут создать слишком много запросов с одного IP/юзерагента в короткий срок (но объем информации, которую нужно получить – небольшой).
2) Соответственно, нужно делать через прокси или каким-то еще образом, но этот момент решить.
Опубликован 20.01.2016 в 15:36