Парсер ссылок. Рекурсивно собирает все ссылки, которые присутствуют на странице (включая JS и формы). Далее путешествует по найденным ссылкам и собирает их там или парсит только указанный список страниц. Многопоточная работа, простой интерфейс.