Нужно написать скрипт под PhantomJS, который будет выгружать сайт с заданными параметрами
- UserAgent
- Referer (для первой страницы)
- Глубиной вложенности и числом страниц на каждом уровне вложенности
- таймаут для запроса
Для каждой страницы нужно собрать
- url страницы
- статус ответа
- число внешних скриптов <script ...>, фреймов <iframe>, объектов <emded>, <object>
- число внешних ссылок
- скорость загрузки страницы
- число фрагментов <script></script> на странице
- список внешних ссылок
- список внешних скриптов
- список внешних <iframe>
- список внешних <embed>
- список внешних <object>
На выходе выдать результат в формате json (массив элементов с данными по каждой странице)
При работе скрипт должен
- минимизировать трафик (то есть не загружать объекты для страницы, только сам html)
- минимизировать ресурсы (не генерировать скриншоты)
- пробрасывать userAgent в Navigator.userAgent
- эмулировать поддержку Flash
Опубликован 08.09.2015 в 20:20 Последнее изменение: 08.09.2015 в 20:21