Есть сайты, где люди покупают запчасти для авто. На них есть поисковая строка, куда вводится код запчасти, и сайт выдает список предложений от поставщиков с разным наличием, сроком доставки, ценой.
В данный момент сделано 2 парсера для парсинга 2 разных сайтов. Оба работают по следующему принципу (все в едином web-интерфейсе):
1. Вводится список артикулов (кодов запчастей) и задаются параметры парсинга (
)
2. Парсер по очереди "вводит" артикулы в поисковую строку сайта и сохраняет в базу наличие, цену, срок доставки запчасти для каждого поставщика, ну и еще несколько полезных параметров. Также, если при парсинге была поставлена галка, в базу попадают таким же образом аналоги искомой запчасти, которые предлагает сайт в качестве замены другого производителя.
3. Когда парсинг завершен, нам надо сформировать список Excel определенного формата, который нам нужен конкретно сейчас.
Перед формированием списка из базы мы указываем, какие предложения поставщиков нас интересуют: какие производители запчастей должны быть в итоговом списке, какая должна быть сортировка, какие предложения по наличию и по срокам должны попасть в список (ибо мы не конкурируем с предложениями сроком более 3-4 дней и наличием меньше, например, 10 шт.)
Это делается в таком меню:
4. На выходе получается вот это:
Выделяются 1, 2, 3 место по цене, показывается для них отклонения от предложенной нами цены в %.
Также есть такой формат вывода списка:
здесь для одного артикула, например, выбирается лучшая цена, и она попадает в ячейку 1Цена, выбираются цены со сроком доставки Икс, и они попадают в ячейки Цена_Икс соответственно.
Сейчас нагрузка на пасинг одного сайта около 600 артикулов в день. Всего рабочих сайта 2.
Все это я описал, чтобы вы представляли с чем нужно будет работать.
Итак, в данный момент нужно решить 2 задачи:
1. Добавить парсинг еще одного сайта.
2. Сделать его таким образом, чтобы в сутки обрабатывалось 20 000 артикулов. Проверено, что сайт это позволяет и для него такая частота несущественна. В системе уже предусмотрен функционал ротации учетных записей при парсинге, его надо будет "применить" также и к парсингу этого сайта.
Стоимость я указал прогнозируемую, реально я представляю здесь почасовую оплату.
Если вас интересует работа над проектом, пишите:
1. Каков опыт работы с Symfony и cURL?
2. Стоимость часа работы?
3. Когда готовы приступить и каков ожидаемый срок?