Движок парсера сайтов: Портфолио фрилансера Александр Копытов 02.02.2010, работа №3 - FL.RU
К списку работ
Александр Копытов
Александр Копытов

Движок парсера сайтов

image
Ядро парсера обладающий большой степенью универсальности, способного преодолевать многие средства защиты. Максимально настраиваемый: параметры настройки, такие как User-Agent, частота сканирования одного ресурса и прочее задаются в базе данных. Многопоточный: для ускорения робот умеет сканировать различные сайты параллельными потоками. Вежливый: робот в работе может использовать файл сайта 'robots.txt'. Мимикрия: робот очень похож на браузер. Поддержка cookie и заголовков, которые браузер в обязательном порядке отправляет серверу. Универсальный: вы сможете легко его настроить на сканирование новых сайтов. Идеален для встраивания в сайт, так как закачивает данные прямо в существующую базу сайта. Работает с текстами, картинками, фото.