Задача такая: определить, установлены ли определенные системы на интересующих нас сайтах.
На входе у нас:
1) список сайтов, которые нужно проверить (только главную страницу)
2) список кодов, которые мы ищем
Все это в формате excel/csv.
Программа должна вернуть csv-файл с указанием найденных кодов "сайт – название найденного кода".
Входная информация может меняться.
Предполагаемый объем сайтов для анализа – несколько тысяч. Количество кодов для анализа – несколько десятков.
Нюанс: код может грузиться не в исходный код страницы, а подгружаться скриптом. Например, если он находится в контейнере Google Tag Manager. Поэтому программа должна подождать, пока подгрузятся все скрипты, и только потом искать нужные коды.
Во вложении пример.
Опубликован 12.05.2017 в 21:38