Написал скрипт для парсинга вакансий в целях получения статистической информации о востребованности профессий на IT рынке труда.
Основные моменты работы скрипта:
- группировка по категориям
- использование системы распознавания типа навыков
- использование множества прокси
- распределённые по времени запросы
Полученные данные группируются и выводятся на сайте в виде интерактивных графиков.