Динамический парсинг сайта
Парсинг новых товаров с этой страницы с учетом ключевых слов
Интересуемые поля: (см. приложенный файл 1)
Со страницы товара: (см. приложенный файл 2)
Логика работы
Скрипт запускается через через CRON с интервалом раз в минуту (временной промежуток задается в настройках).
При обнаружении нового товара, с учетом необходимых параметров (задаются в настройках) данные заносятся в SQL-базу на хостинге и высылается на электронную почту.
Формат письма:
В теме (через запятую): название товара (1), примечание (2), цена (4), город (3)
В теле письма:
Дополнительная информация (10)
количество (8)
состояние (7)
продавец (9)
запросы (5)
линк на товар (11)
В аттаче фото (6)
В SQL-базе нужно ещё поле с датой записи.
Параметры и настройки
Обрабатывать товары только из России. Там есть флаги стран. По ним можно отсеивать.
Фильтр по ключевым словам.
Варианты срабатывания:
при совпадении с ключевыми словами
при отсутствии ключевых слов
Настройки
1. Частота запросов (по умолчанию раз в минуту)
2. Ключевые слова. Применять к полю 1 и 2). Выборка по наличию (игнорируется если не задано)
3. Ключевые слова. Применять к полю 1 и 2. Выборка по отсутствию (игнорируется если не задано)
4. Город. Если не задано то все (Россия)
4. Email на который отсылать
5. Прокси (игнорируется если не задано)
Отдельно сделать возможность выборки информации из базы. Интерфейс не нужен. Достаточно перечисления нужных параметров в конфигурационном файле.
Опубликован 31.08.2016 в 13:22 Последнее изменение: 02.09.2016 в 10:38
Заказ находится в архиве