Выскопроизводительный сканер сайтов: Портфолио фрилансера Антон Sunrise-R 29.08.2011, работа №18 - FL.RU
К списку работ
Антон Sunrise-R
Антон Sunrise-R

Выскопроизводительный сканер сайтов

Программа выполняет рекурсивное высокопроизводительное сканирование сайтов по заданному списку и собирает сведений о сайтах (возраст сайта, YACA, DMOZ, ТиЦ, количество внешних и внутренних ссылок, количество noindex ссылок) возможно добавление дополнительных сведений на основе парсинга страниц. Сведения сохраняются в БД. Программа умеет работать через proxy. Язык программирования: С#