Здравствуйте
Есть 3 парсера, которые работали пол года назад, после того как сайты с которых бралась информация обновились, некоторые перешли на протокол https, парсера перестали работать. Код откоментирован в парсерах и есть человек, которых разбираться в их работе.
Основной алгоритм работы:
Парсинг отзывов компаний
Сопоставление с нашей БД (по контактным данным и др. , которые тоже нужно парсить для сопоставление)
Оплата разбивается по завершению работ по каждому парсеру. Т/е сначала обновляем один парсер, его доводим до конца оплачиваем и переходим к следующему. Алгоритм сопоставление с нашей БД нужно улучшить, один для всех 3х парсеров ( если один для всех это возможно).
Парсеры сделаны на PHP запускаемой с командной строки , БД MySQL
Предоставляем тестовый сервер для проверки работы и прокси. Все должно быть настроено и работать на нашем сервере.
В дальнейшем требуется техническая поддержка парсеров, доработка и создание новых.
Опубликован 27.10.2017 в 12:39