Необходимо написать бота, который будет ходить файлам sitemap.xml, сканировать на наличие новых URL, формировать отчет о вновь добавленных страницах и отправлять его на почту + отчет в виде html.
Функционал
1) В файл конфига добавляются URL адреса sitemap.xml для сканирования
2) Робот обходит все страницы каждого sitemap.xml с переодичностью указанной в файле конфига.
3) Все новые найденные URL он отправляет на почту
4) Все найденные URL отображает на странице index.php по дням, пример
Робот должен каждый раз проходить по всем страницам sitemap.xml (если он многоуровневый) даже по которым он уже ходил.
Параметры для конфига
1) URLы sitemap-ов
2) Время переодичности обхода общее для всех в секундах
3) email для отправки отчета
Примеры sitemap.xml для обработки
– 1 уровень
2 уровня вложенности
2 уровня вложенности
2 уровня вложенности
Пожалуйста, сразу пишите сроки и стоимость! Спасибо!