Разработка системы мониторинга изменений на сайтах и в личных кабинетах

Нами готовится список доменов, за которыми мы хотим наблюдать. Сайты могут быть на российских и зарубежных серверах, в открытом доступе и с авторизацией (личные кабинеты). Нам нужно гибкое решение, т.к. наверняка будет развитие и дополнение к основному функционалу

Мне сложно оценить бюджет и сроки, поэтому открыт к предложениям. Также буду рад, если подскажете лучшее решение на ваш взгляд.

Что оно должно делать на наш взгляд:
1. Заходить на сайты по списку доменов и получать ссылки на все доступные страницы и экраны. Личные кабинеты могут быть на SPA. Сайты могут быть в РФ и зарубежные.
2. Для первого прохода по домену собрать файлы html и css полностью загруженных страниц. Сделать скриншоты каждого экрана (страницы) целиком. Можно сжимать качество. Также собрать файл с деревом страниц, чтобы в будущем по нему сравнивать.
3. Создавать папку проекта-домена и сохранять в неё файлы и скриншоты также по папкам с URL. Скриншот в названии содержит дату и часть URL после домена. Это всё должно отправляться или в google drive или по ssh/ftp в наше хранилище. Вместо URL для SPA можно попробовать название кнопки, которая открыла страницу (?).
4. Собрать сводную информацию для строки отчета в Google Таблице: сколько всего страниц найдено, сколько изменений найдено, сколько новых страниц, сколько удалено страниц.
5. Если проход не первый (уже есть такая папка с доменом), то также пройти по каждому экрану и если в коде полностью загруженной страницы есть изменения в CSS, HTML, возможно в JS (?), то сделать скриншот новой страницы и сохранить новые файлы и скриншот в папку с новой датой внутри папки с этим URL.
4. Найденное изменение нужно отправить в Google Таблицу в новую строку. Столбцы такие:
"домен; url; 
дата изменений; 
статус страницы; – новая, известна, удалена
ссылка на скриншот до; 
ссылка на скриншот после; 
ссылка на папку этого URL;
сколько элементов изменилось* – это не обязательно
"

Эти пожелания не обязательные:
*5 Сделать ещё один скриншот области где произошли изменения, или полный скриншот с рамками вокруг изменившихся элементов. 
*6 Если разницу в коде (как при пул реквест) можно занести в строку таблицы, то было бы круто.

Ориентировочный сценарий со стороны маркетолога-аналитика:
1. Открыл Google Таблицу и добавил список новых доменов для мониторинга на листе “Домены” к тем, что уже указаны.
2. Затем на следующее утро открыл эту же таблицу на листе “Домены” увидел таблицу со списком доменов и напротив каждого:
число страниц вообще, 
число страниц с изменениями, 
число исчезнувших страниц,
дата и время завершения последнего прохода.
Убедился, что данные за ночь собраны.
3. Открыл лист “Мониторинг” и увидел в таблице список изменений (что-то типа лога). Нашёл нужный домен отфильтровал строки за последний месяц. Нашёл новые страницы, которые появились за месяц, добавил в отчёт.
4. Затем на том же листе нашёл список изменений по старым страницам, например по тарифам, и открыв скриншоты определил важные для нас. Занёс их в отчет.
5. Каждое утро в Пн с 9 до 12 приходит уведомление на email или в slack. Если изменений не было найдено, то в уведомлении будет “Изменений не найдено”. (Часть с уведомлениями мы можем сами реализовать, но нам нужна такая возможность в проекте)

В итоге мы хотим получить готовый код (проект), который сможем разместить на своих серверах.