Есть следующая задача:
необходимо пропарсить сайт Hotline.ua на момент выяснение есть ли конкретный интернет-магазин среди тех, кто предлагает к продаже какой-то товар.
Суть такая:
берем страницы типа:
example.ua/категория/товар/prices
Из этой страницы вытягивем иформацию о:
Категория товара на Прайсагрегаторе
Название товара на Прайсагрегаторе
URL товара
Кол-во магазинов, которые продают этот товар (число)
Есть ли определенный магазин среди продавцов (да/нет)
Все это отдаем в таблицу – заголовок таблицы, а дальше одна строка = один товар.
Товаров по сути будет много, так что скорее всего удобнее будет разбить результат на несколько файлов.
Страницы товаров по которым нужно пройтись можно взять с сайтмапа прайсагрегатора (сайтмапы будут изначально в .xml.gz)
То бишь нужно еще будет их оттуда разархивировать.
Причем изначально страницы скорее всего будут только в таком виде:
example.ua/категория/товар/
т.е. без prices/
Как вариант, можно брать мобильную версию сайта для парсинга – она легче.
По факту желателен готовый результат – нежели скрипт/программа.
Опубликован 25.02.2016 в 16:23
Заказ находится в архиве