Есть следующая задача:
необходимо пропарсить сайт прайсагрегатора на момент выяснение есть ли конкретный интернет-магазин среди тех, кто предлагает к продаже какой-то товар.
Суть такая:
берем страницы типа:
Из этой страницы вытягивем иформацию о:
Категория товара на Прайсагрегаторе
Название товара на Прайсагрегаторе
URL товара
Кол-во магазинов, которые продают этот товар (число)
Есть ли определенный магазин среди продавцов (да/нет)
Все это отдаем в таблицу – заголовок таблицы, а дальше одна строка = один товар.
Возможно в гугл доки.
Товаров по сути будет много, так что скорее всего удобнее будет разбить результат на несколько файлов.
Страницы товаров по которым нужно пройтись можно взять с сайтмапа прайсагрегатора (сайтмапы будут изначально в .xml.gz)
То бишь нужно еще будет их оттуда разархивировать.
Причем изначально страницы скорее всего будут только в таком виде:
т.е. без prices/