Данная программа писалась, как базовое решение, для получения всех ссылок с указанного сайта с последующим их обходом и сохранением результатов в файл(ы). Так же программа может использовать PROXY и список заданий, где Вы можете указать сайты, которые необходимо проанализировать. Одновременно можно обрабатывать от 1 до 100 потоков. Возможно использование обхода TIME-OUT механизма на сайте. Программа написана так , что бы ее было легко модифицировать для того что бы с указанных сайтов получать допустим все EMAIL, файлы, картинки и т.д. С дальнейшим их сохранением в известные форматы: TXT, CSV, EXCEL и т.д. Если Вас заинтересовал, такого рода парсер под Ваши задачи, пишите мне на указанные адреса или оставляйте сообщение на сайте.