Программа получает на вход файл с правилами обхода страниц и правилами для извлечения информации.
Результат работы складывает в базу данных.
Консольное приложение
Использует регулярные выражения
Автоматически подстраивает свою работу под количество ядер на компьютере
Может работать через PROXY
Может работать с защищенными сайтами (только basic и digest протоколы)
Язык программирования C#, платформа .NET Framework 4.0