Парсер всех ссылок с сайтов

Бюджет: по договоренности
необходимо написать многопоточный парсер всех ссылок с сайтов. Что то вроде создания карты сайта.
логика работы:
1. В файле указываем домены
2. задаем количество потоков и задержку
3. софт собирает все ссылки на сайте, разумеется ссылки не на левые сайты, а с доменом который в списке.
4. Сохраняет результат удаляя предварительно дубли.
Опубликован 24.02.2016 в 13:03 Последнее изменение: 24.02.2016 в 13:28

Выберите способ верификации:

Обновите страницу после прохождения верификации.