Многопоточное приложение, загружающее и обрабатывающее (парсинг, сохранение в структурированном виде + дерево ссылок) необходимые интернет-страницы.
Стартовые страницы, фильтры, глубина "внедрения" в сайты, количество потоков и пр. задаются настройками.
Windows, Delphi, MS SQL.