Необходим парсинг товаров с официальных сайтов производителей на постоянной основе.
Дано: англоязычный сайт на шаблонной основе. Для некоторых данных иногда требуется регистрация, использование cookie и ssl.
Требуется: очищенные данные в таблицах mysql. В зависимости от количества уровней вложенности каталога, для каждого уровня нужна своя таблица (со связями по инкрементным ID между уровнями). Для каждой записи требуются все данные, которые присутствуют на текущем уровне вложенности, очищенные от окружающего текста и тегов.
Пример такого сайта: simes.it/en/
Нужно пройти от начальной страницы simes.it/en/catalogue/ по древовидной структуре до конечных страниц типа simes.it/en/catalogue/codice.php?id=3287 , собрав встречающиеся данные в две таблицы. Есть подробное ТЗ с описанием и логикой, отправлю отдельно.
Требуется опыт подобных задач и внимательность к деталям, т.к. изредка в шаблонах встречаются частные случаи с отклонением от общей логики.
Хотелось бы узнать сроки и примерную стоимость за один сайт без привязки к количеству страниц (они все шаблонные), т.к. есть сайты с 300 товарами, а есть с 5000, трудоёмкость у них примерно одинаковая.
Опубликован 17.04.2018 в 14:49