Примеры работ и кейсы по направлению «Парсинг данных»

Технологический стек: Python 3.11, FastAPI, Uvicorn, Requests, Pandas, OpenPyXL, Jinja2, JavaScript (ES6), HTML5, CSS3, FontAwesome, Asyncio, BackgroundTasks Функциональность: ✔️ Автоматическая загрузка каталогов из JSON с проверкой доступности для последовательного поиска ✔️ Пошаговая фильтрация по атрибутам: двигатель, кузов, модификация, год выпуска ✔️ Динамический интерфейс: кнопки-опции, поиск по значениям (>20 вариантов), индикация активного каталога ✔️ История шагов и возможность отката (go_back) ✔️ Генерация комбинаций — умная (smart) и полная (full) стратегии, расчёт количества комбинаций и времени ✔️ Фоновые задачи — асинхронный парсинг с отслеживанием прогресса (task_id, статус, результат) ✔️ Парсинг узлов и деталей: категории → узлы → OEM-номера, коды на схеме, наименования, количество, единицы измерения ✔️ Формирование URL визуального каталога с параметрами (catalog_code, vehicle_id, vendor_key, nodeId) ✔️ Сохранение в Excel: гиперссылки, автофильтр, автоподбор ширины колонок ✔️ Автоочистка временных файлов (старше 24ч) Архитектура: — Коллектор (FastAPICatalogCollector) — все запросы к API Laximo — Генератор комбинаций (CombinationGenerator) — itertools.product, ограничение по max_combinations — Веб-интерфейс: Jinja2-шаблоны, адаптивная вёрстка, sticky-панели, кастомный скролл Результат: Excel-файл с детальной структурой: каталог → фильтры → автомобиль → категория → узел → OEM → ссылка ✅ Пишите в личные — покажу демо, настрою под ваши каталоги и задачи.

Технологический стек: Python 3.11, FastAPI, BeautifulSoup4, Pandas, XlsxWriter, Requests, Asyncio, ThreadPoolExecutor, Jinja2, HTML5, CSS3, JavaScript (ES6), DataTables Что делает парсер: ✔️ Автоопределение городов (Анапа, Краснодар, Сочи, Геленджик, Новороссийск, Ставрополь) ✔️ Загрузка категорий с количеством товаров ✔️ Парсинг товаров: артикул, название, цена, старая цена, скидка %, группа, категория, фото ✔️ Сбор остатков по адресам магазинов с фильтрацией по выбранному городу ✔️ Пагинация: контроль количества страниц (все / указанное число) ✔️ Параллельный парсинг (ThreadPoolExecutor, max_workers=5) для скорости ✔️ Прогресс-бар в реальном времени, мониторинг задач Архитектура: Backend: FastAPI (асинхронные эндпоинты), BackgroundTasks, сессионное управление cookies Frontend: адаптивная вёрстка, кастомные CSS-анимации, фиксированные колонки таблицы Форматы выгрузки: ✅ Excel (.xlsx) — автоматическая ширина колонок, автофильтр ✅ CSV (utf-8-sig, разделитель ';') ✅ JSON (indent=2) Управление данными: — Глобальное хранилище результатов с группировкой по категориям — Статистика: средняя цена, товары со скидкой, количество магазинов — Удаление выбранных/всех результатов — История задач с отслеживанием статусов Интерфейс: 5-шаговая структура: город → категории (мультивыбор) → настройки → прогресс → таблица Таблица с закреплёнными колонками, скроллом, превью фото, хинтами для длинных адресов ✅ Пишите в личные сообщения — покажу демо, обсудим ваш проект и сроки.

Автоматизирую сбор товарных данных для аналитики рынка и мониторинга конкурентов. Ваш личный парсер без ограничений и ежемесячных платежей. Что вы получите: — Готовый веб-интерфейс с личным кабинетом — Проверку любого запроса с подсчетом товаров до старта — Сбор данных: название, цена, скидка, бренд, магазин, ссылка — Автоудаление дубликатов, расчет скидок, извлечение бренда из названия — Фильтрацию по цене, магазину, бренду, размеру скидки — Экспорт в Excel/CSV с чистовой таблицей — Сохранение истории всех сборов Как работает: Вводите поисковый запрос → система проверяет количество → запускаете сбор → данные собираются, очищаются, структурируются → выгружаете готовый файл. Технологии: Бэкенд: Python 3.11, Flask (REST API), SQLite/Redis, threading для параллельных сборов Фронтенд: HTML5, CSS3 (Grid/Flexbox), ванильный JavaScript, адаптивная верстка Парсинг: Requests, автоматические заголовки, ротация cookies, exponential backoff при ошибках Обработка: openpyxl (Excel), csv, регулярные выражения, LRU-кэширование запросов Что внутри: — Мультиселекты с поиском для фильтрации брендов/магазинов — Прогресс-бар, статусы сбора, отмена процесса — Пагинация таблицы, сортировка, индикация скидок — Автоочистка временных файлов, защита от дублей сессий — Конфигурация через .env, настраиваемые лимиты Для кого: маркетологи-аналитики, селлеры, владельцы магазинов. http://188.225.57.224:8803/

Разработаю и настрою под вас парсер для Japancar.ru — профессиональный инструмент для сбора автозапчастей с полной структурой каталога. 🔧 Что умеет парсер: ✔️ Вкладка 1 — Фильтр и сбор ссылок — Загрузка каталогов Toyota, Nissan, Mitsubishi, Honda и др. — Выбор параметров (двигатель, кузов, год) — Генерация ссылок на конкретные автомобили — Выгрузка в Excel со статистикой ✔️ Вкладка 2 — Парсинг запчастей — Обход категорий и подкатегорий — Сбор OEM-номеров, описаний, размеров, спецификаций — Мониторинг скорости (OEM/сек) — Полная история ошибок — Готовый Excel с листами: данные, статистика, ошибки ✔️ Вкладка 3 — Поиск по VIN — Одиночный и пакетный ввод (до сотен VIN) — Загрузка Excel-файлов с автораспознаванием колонки — Ограничение количества вариантов — Формирование ссылок на каталог 📦 Что получаете: — Готовый веб-интерфейс (FastAPI + HTML) — Автоматическое распознавание годов — Экспорт в Excel (3 вкладки) — Возможность доработки под ваши задачи 🎯 Для кого: — магазины автозапчастей — агрегаторы и маркетплейсы — авторазборки и сервисы — аналитики и b2b-отделы ✅ Пишите — обсудим ваш каталог, нужные доработки и сроки. Есть демо-версия для теста.

Автоматизирую сбор каталога запчастей по VIN-коду автомобиля. Подходит для автосервисов, магазинов запчастей, агрегаторов и разработчиков. 🔍 Что собираю: — Все категории и схемы — Артикулы и наименования деталей — Номера на схемах — Оригинальные OEM-номера — GEM-аналоги — Ссылки на детали — Марка, модель, год, ДВС, коробка 📦 Результат: Готовый Excel-файл со всеми найденными позициями — структурированно, чисто, без дублей. ⚙️ Как работаю: — Полный обход всех схем по VIN — Сбор данных с подгрузкой информации о каждой детали — Обработка 1 VIN = 2–4 минуты — Возможна пакетная обработка списка VIN — Сохраняю состояние — можно дособрать позже 💡 Для кого: — интернет-магазины автозапчастей — авторазборки и каталоги — маркетплейсы и агрегаторы — b2b-отделы и аналитики 📥 Формат сдачи: Excel, CSV, по запросу — интеграция в базу 📌 Пример: По VIN собираю до 200+ деталей с одной машины, включая редкие позиции и аналоги. ✅ Пишите в личные сообщения — пришлите VIN или файл со списком, рассчитаю срок и стоимость.

Соберу для вас полную базу компаний с сайта DiKidi.ru — крупнейшего каталога салонов красоты, фитнес-клубов, медицинских центров, мастеров и студий услуг. ✅ Что будет в базе: — Название компании — Город — Категория — Ссылка на страницу — Адрес — Телефоны (включая WhatsApp и Viber) — Количество сотрудников — Количество услуг — Рейтинг — Количество отзывов — Фото (ссылки) — Время парсинга 📌 Примеры категорий: Красота, Маникюр, Барбершопы, Массаж, Стоматология, Йога, Фитнес, Лазерная эпиляция, Тату и ещё 50+ направлений. 📍 Города: любые по вашему запросу. ⚙️ Как работаю: — Использую автоматизированный сбор данных — Обхожу блокировки, выдерживаю задержки — Сохраняю состояние — можно дособирать позже — Готовлю удобный сводный файл (CSV/Excel) — При необходимости могу разбить по городам и категориям 🎯 Кому пригодится: — маркетологам для рассылок и таргета — владельцам бизнеса для анализа конкурентов — стартапам и агрегаторам для наполнения каталога — всем, кто ищет клиентов в b2b 📦 Результат: Готовый файл со всеми собранными данными, структурированный и чистый. Никакого мусора. 💬 Напишите в личные сообщения — уточним города и категории, и я приступлю.

Telegram-бот "Распиши-ка" предоставлет удобные способы получения расписания студенческих групп и преподавателей Многопрофильного колледжа Тюменского индустриального университета.

Selenium Multi-Instance Парсер, работающий через ротационный прокси, с кастомным captcha-солвером (прохождение капчи) с сохранением результатов в БД (данных на 1.5 млн строк). Технические детали: Парсер на Selenium, подключен пул прокси, также встроен самописный модуль для прохождения капчи ботом. Развёрнуто (оптимальное по железу VPS) кол-во Docker-конейнеров с парсерами, которые сохраняют результаты парсинга в БД. Также через Docker настроены процедуры healthcheck после отработки каждого парсера, авто re-run, и авто-запуск новых инстансов за счёт взаимодействия с хранимой процедурой в БД PostgreSQL. Также через утилиту crontab в Linux, настроен ежедневный авто бекап БД.

Парсер на проверку содержания доменов в актуальном реестре РКН. С админкой и планировщиком проверки. Есть возможность как единоразовой проверки домена, так и Cron-проверка списка запланированных доменов на парсинг (каждый имеет гибкую настройку по времени). С отчётностью по эл. почте. Технические детали: Админка на Flask, парсер на Selenium+bs4. Всё развернуто на VPS, проксирование через Nginx. Бекенд общается с парсером локально, через общую сеть в Docker'е. Настроены процедуры авто-проверки состояния парсера и переподключений.

Портал региональной помощи раннего развития для Иркутской области. Дизайн выполнялся по требованию заказчика.