парсер на php который качает весь сайт, который ему укажут
Качать должен всё по ссылкам исходящим от указанного пользователем сайта. Скрытые файлы искать не надо. По ссылкам на другие сайты переходить не надо. Только по маске домена.
БЕЗ дизайна, пока только реализация функционала
ПОЯСНЕНИЕ К ПРИЛОЖЕННОЙ КАРТИНКЕ
При входе на сайт пользователю предлагается ввести в поле адрес сайта. При нажатии кнопки «скачать» происходит инициализация скачивания.
Гугл капча – это гугл капча.
В строке «С картинками» по умолчанию выставлена галочка. Если галочку снять, то отказ от скачивания файлов формата bmp, dib, emf, gif, jfif, jpe, jpeg, jpg, png, tif, tiff и wmf.
В строках «С видео» и «С архивами» по умолчанию галка не стоит. Если не стоит галочка в «С видео», то отказ от скачивания файлов формата asf, avi, m1v, mp2, mp2v, mpe, mpeg, mpg, mpv2, wm и wmv. Если не стоит галочка в «С архивами», то отказ от скачивания файлов формата aif, aifc, aiff, asf, au, mp2, mp3, mpa, snd, wav и wma
Глубина скачивания – это количество переходов отсчитываемых с начала страницы указываемой пользователем выше. При этом переходы происходят только по ссылками имеющим адрес указываемого сайта (т.е. например по ссылкам на счётчики посещяемости, виджеты соц. Сетец и др. сайтов. парсер не ходит). По умолчанию стоят на 100, более 500 поставить нельзя, автоматом пусть исправляет на 500 в таком случае)
Лимит времени на скачивание – лимит работы парсера по времени. Более 15 минут автоматом пусть выключается.
Лимит на размер архива – максимальный размер получаемого архива. Хотя по сути размер архива будет меньше, ведь получив 100 Мб сайта распакованного после его сжатия получится меньше, но оставим так, ведь мы не можем заранее подгадать какого размера надо скачать сайт чтобы получилось конкретно 100 мб архива. При достижении предела пусть парсер останавливается.
Шкала загрузки – парсер должен уметь анализировать всю запланированную работу, чтобы хотя бы немного адекватно показывать шкалу прогресса. Если не получится, пусть будет фикцией, пусть двигается по чуть чуть или сделай ей зацикленной.
Строка состояния – в ней будет высвечиватся скачиваемый в настоящее время файл, а в случае успешного завершения сообщение об этом. Также в случае достижения лимита по одному из показателей там будет светится соответствующее сообщение.
Ссылка на скачивание – появляется после завершения работы парсера (без обновления страницы). Например
Необходимо чтобы парсер удалял архивы по истечении суток.
Скачать ещё один сайт – кнопка обнуляющая все параметры и ссылки.
Пример