Парсеры: Портфолио фрилансера Никита Летов 30.12.2011, работа №1 - FL.RU
К списку работ
Никита Летов
Никита Летов

Парсеры

Множество различных парсеров с различной нагрузкой. Максимальное количество записей, с которым довелось столкнуться на данный момент при проектировании парсера: более 7000000 строк (500Мб), скачанных и разобранных в автоматическом режиме в течение 2 дней; более 500000 строк данных (более 1.5 Гб), собранных с нескольких страниц каждая строка за 3 суток. Список сайтов, к которым писал парсеры (не полный список): http://realty.best-stroy.ru/ http://pr-rd.ru/ На основе парсера сделан каталог недвижимости http://sberbank-ast.ru/purchaseList.aspx http://zakupki.gov.ru/pgz/public/action/search/extended/init http://www.myshoeaddiction.com На основе парсера сделан магазин http://getgoodlinks.ru/ Внешний интерфейс управления проектами на сайте http://metrosphera.ru/realty/new/ http://spb.job.ru/ http://www.zarplata.ru/ http://www.kinomax.ru/ http://www.timetec.ru/ http://www.tophotels.ru/ http://www.tripadvisor.ru/Hotels http://www.booking.com/ http://lookon.ru http://asos.com Данные загоняются в магазин на Joomla Jshopping http://ati.su http://sudrf.ru Агрегация в одном месте данных со всех округов (около 30)