Автоматизированный парсер реестра компаний дорожно-строительной отрасли (ОКВЭД 42.11)

Ссылка на работу
Описание Целью проекта была разработка инструмента для сбора актуальной информации о строительных организациях с портала checko.ru по специфическому классификатору деятельности (ОКВЭД 42.11 — Строительство автомобильных дорог). Проект решает задачу формирования базы потенциальных подрядчиков и партнеров, автоматизируя ручной поиск данных по ИНН, полным названиям и дополнительным видам деятельности организаций. Стек технологий Python, Selenium Webdriver, BeautifulSoup4 (bs4), JSON, HTML. Решение Для реализации проекта был использован стек Python в связке с Selenium и BeautifulSoup4. Основные этапы разработки: Эмуляция действий пользователя с помощью Selenium для обхода динамической подгрузки данных и пагинации на портале. Парсинг структуры HTML-страниц через BeautifulSoup4 для извлечения целевых полей: название, ИНН, полный список ОКВЭД и текстовое описание деятельности. Обработка исключений и настройка задержек для обеспечения стабильности работы скрипта при парсинге больших объемов данных. Проектирование логики сопоставления основного и дополнительных кодов ОКВЭД для фильтрации целевых компаний. Результат Создан масштабируемый скрипт, позволяющий получать структурированные данные и сохранять их в формате JSON для дальнейшей интеграции в CRM или аналитические системы. На выходе формируется массив данных, содержащий полную юридическую информацию о компаниях (пример: МБУ "ДОРСЕРВИС", ИНН 5003115016), включая перечень всех видов зарегистрированной деятельности.
https://cloud.mail.ru/public/i8Yh/emLoWxzLx