Примеры работ и кейсы по направлению «Парсинг данных»

Backend-система для безопасного получения видео по URL через Telegram и web-интерфейс. Пользователь создаёт job, она ставится в очередь, фоновый worker выполняет анализ/загрузку, а результат и статусы доступны через Django/DRF.

Бот отслеживает цены на товары Wildberries и уведомляет об изменениях. Надо добавить ссылку на товар - бот проверяет цену раз в день и присылает уведомление в Telegram если цена изменилась больше чем на 5% (порог настраивается). Список товаров можно менять в любое время - добавлять и удалять. В любой момент можно вручную запросить текущие цены по всем позициям. История цен выгружается в Excel или CSV с датами и значениями. Данные собираются через внутренний API Wildberries с обходом защиты от парсинга. Стек: Python, curl_cffi, aiogram, APScheduler, SQLite, openpyxl.

Десктопное приложение для сравнения цен на товары в трёх розничных сетях X5 в реальном времени. Данные собираются напрямую через внутренние API магазинов — без задержек и ограничений. Вводишь название товара, приложение находит его во всех трёх сетях с учётом вариантов написания и возвращает таблицу с ценами, где автоматически выделяется лучшая. Можно открыть фото товара в полном размере прямо из интерфейса.

Программа генерирует описание карточки товара на основе взятых ключей от топ‑5 карточек по количеству оценок покупателей, находит эти карточки по поисковому запросу пользователя и по выбранному городу, а сгенерированное описание выгружает в файл description.txt Стек: Язык: Python 3.13.11 Пользовательский интерфейс: Customtkinter Автоматизированный сбор данных с сайта: Playwright Парсинг собранной информации: BeautifulSoup Генерация описания: Yandex aliceai-llm Для идентификатора каталога и api ключа: dotenv Упаковка программы в один .exe файл: PyInstaller

Этот проект содержит продвинутый, отказоустойчивый веб-парсер, созданный для извлечения массивного датасета (~120 000 товаров, 7 500 брендов) из глобального парфюмерного каталога. Целевой ресурс использует агрессивные механизмы защиты от ботов, включая проверку целостности браузера от Cloudflare и жесткое лимитирование запросов (HTTP 429 Too Many Requests). Архитектура и инженерные решения: При подготовке к миграции ~120k записей в среду WooCommerce использование существующих open-source датасетов было отклонено. Основные причины: неактуальность данных, плохая нормализация и отсутствие прямых URL-адресов товаров, необходимых для дальнейшего обогащения базы (парсинг нот и пирамид). Был разработан кастомный парсер со следующим функционалом: Обход антифрод-систем: Использование SeleniumBase в режиме uc=True (Undetected Chromedriver) для обхода проверок Cloudflare turnstiles и маскировки отпечатков webdriver. Очистка данных «на лету» (Data Cleaning): Извлеченные сырые строки динамически парсятся с помощью регулярных выражений (RegEx) для разделения названия продукта, года выпуска и гендерной принадлежности. Имя бренда автоматически вырезается из названия самого аромата для обеспечения чистоты БД при импорте. Отказоустойчивое хранение: Данные сохраняются в формате JSON Lines (.jsonl) в режиме добавления (append-only). Это гарантирует сохранность данных при неожиданных сбоях ОС или блокировках со стороны сервера. Подробнее:

Разработал персонального Telegram-бота с AI-ассистентом для частного использования. Бот работает через OpenRouter, поддерживает текстовые сообщения, изображения, документы (txt, pdf, docx, xlsx) и голосовые сообщения с локальным распознаванием речи. Реализовал хранение истории диалога в SQLite, учет токенов и стоимости запросов, экспорт переписки, whitelist-доступ только для владельца, а также локальный запуск без VPS и сложной серверной инфраструктуры. Особое внимание уделил удобству эксплуатации: конфигурации через .env, логированию, корректному завершению работы, форматированию ответов для Telegram и расширяемой архитектуре для дальнейшего развития проекта.

Парсер собирает отзыввы с яндекс карт, можно выбирать фильтр "По умолчанию" или "По новизне" при парсинге. Также есть простой веб-интерфейс с отображением таблицы и возможностью добавлять ссылки на организации для парсинга, по которым парсер периодически проходит с интервалом

PasteBin — это система для хранения блоков текста и удобного шаринга этих блоков по ссылке. Проект состоит из следующих элементов: Бекенд (Fastapi) Фронтенд (React) Веб сервер (Nginx распределяет нагрузку между микросервисами бекенда) Хэш сервер (Сервер для генерации хэшей на fastapi)

CRM-система Lakira (SaaS для beauty-индустрии) Для кого: Индивидуальные beauty-мастера и небольшие студии, которым нужен легкий mobile-first инструмент взамен перегруженных систем (YClients и др.) или бумажных блокнотов. Особенности: Стек 2026 года: Backend на Laravel 12 (PHP 8), Frontend на Vue 3 (Composition API) + Vite. Это гарантирует скорость и актуальность архитектуры на годы вперед. Native-Like UX: Интерфейс в стиле Apple (blur-эффекты, bottom-sheets) спроектирован под управление одной рукой. Кастомные DatePicker имитируют нативные барабаны iOS. PWA-решение: Приложение устанавливается на смартфон в обход AppStore/Google Play, работая в полноэкранном standalone-режиме. Умное юзабилити: 1. Quick-Actions: создание клиента/услуги прямо внутри формы записи «на лету». 2. Smart Color-coding: авто-подсветка категорий (маникюр, брови) по ключевым словам. Multi-tenant база: Строгая изоляция данных каждого мастера и готовность к SaaS-монетизации Результаты: Производительность: Благодаря Pinia и асинхронной синхронизации, переходы между календарем и базой клиентов занимают ~0мс. Масштабируемость: Спроектирована архитектура из 16+ нормализованных таблиц, поддерживающая сложные мульти-услуги. Бизнес-ценность: Готовый MVP-продукт с защитой от наложения записей.

Разработал бота для мониторинга live-матчей: система в реальном времени отслеживает статистику (угловые, голы, владение мячом) и отправляет алерты в Telegram при срабатывании заданных условий. Бот работает в фоне, обходит антибот-защиты API, корректно определяет минуту матча и статус LIVE, поддерживает настройку фильтров через JSON-конфиг. Стек: Python, Requests, Telegram Bot API, NinjasBet API