Требуется онлайн скрипт парсинга сайтов на php.
На сайте должна быть форма. Посетитель вбивает в форму главную страницу сайта и контактный ящик, и происходит парсинг всего проекта.
Информация должна собираться в «прямом эфире». Однако, если посетитель закроет страницу — должна продолжаться. По окончании обхода проекта письмо с ссылкой получения результата должно отправляться посетителю на указанную им почту.
Какие данные должны собираться:
- уровень вложенности страницы
- мета теги страницы (title, description, keywords)
- количество всех исходящих ссылок
- количество внешних исходящих ссылок с nofollow
- количество внешних исходящих ссылок без nofollow
- количество входящих ссылок с других страниц сайта (увеличивается по мере прохождения сайта роботом)
- размер страницы
- статус страницы
- все подключаемые файлы (css, js, картинки) тоже должны обрабатываться (размер, статус).
В результате обработки сайта пользователь может видеть отчет с возможностью выгрузки в xls файл (чтобы не делать онлайн сортираторы по нужным полям), а также все битые страницы (с ошибками отсутствия типа 404 405 и пр.), а также полный путь с главной страницы по сайту до этой битой страницы (чтобы можно было найти эту страницу ручками на сайте).
Вопросы? Цена? Сроки?
Если обработка сайта делалась более 3 месяцев назад — то все результаты удаляются и начинается новая проверка. Если обработка сайта делалась менее 3 месяцев назад — все страницы со статусом OK перепроверяются и отчет обновляется.
Прим. Будет размещаться тут сервис определения уровня вложенности страниц
и будет совершенно бесплатен для всех.