Примеры работ и кейсы по направлению «Парсинг данных»

Разработан внутренний инструмент для мониторинга публичных комментариев в X/Twitter, поиска крипто-адресов, проверки данных через внешние API и формирования shortlist для дальнейшей ручной обработки. Проект автоматизирует процесс, который вручную занимал бы десятки часов: сбор комментариев по кампаниям и датам, извлечение адресов кошельков, проверка балансов, фильтрация, повторные проверки и контроль статусов. Что реализовано: * сбор и обработка комментариев по заданным кампаниям; * поиск крипто-адресов в текстах; * поддержка нескольких сетей: EVM, Solana, BTC, TRON; * проверка балансов через внешние API; * обработка лимитов, ошибок, таймаутов и повторных запросов; * кэширование результатов и защита от дублей; * отдельные фоновые процессы для сбора, проверки балансов и recheck-задач; * локальная база SQLite для хранения комментариев, адресов, балансов и статусов; * shortlist с фильтрацией и сортировкой; * статусы обработки: найдено, проверено, подходит, не подходит, пропущено, contacted; * web-панель для контроля кампаний, очередей, аналитики и состояния процессов. Это не простой парсер, а связка из базы данных, фоновых процессов, API-интеграций, очередей обработки и аналитической панели. Стек: Python, SQLite, API, парсинг, фоновые процессы, HTML/CSS/JavaScript, pandas/openpyxl.

Собственный demo-проект Telegram-бота для автоматизации первичной обработки заявок. Бот проводит пользователя по сценарию из 6 вопросов, собирает требования, формирует краткое ТЗ, определяет категорию и приоритет заявки, сохраняет данные в SQLite и отправляет карточку администратору в Telegram. Реализованы: • Telegram Bot API (aiogram) • FSM-сценарий диалога • Сбор и структурирование заявок • Автоматическая классификация • SQLite-хранилище • Уведомления администратору • Mock-режим без платного AI API • Поддержка OpenAI/DeepSeek API Проект создан как публичный MVP-кейс для демонстрации возможностей Telegram-автоматизации, AI-ассистентов и обработки клиентских заявок. Технологии: Python, aiogram, SQLite, OpenAI-compatible API, DeepSeek-compatible API.

Система анализа и фильтрации Telegram-каналов и чатов. Заказчику требовалось автоматически отслеживать большое количество Telegram-каналов, чтобы быстро находить упоминания бренда, конкурентов и ключевые слова, отсеивая спам и неактивные каналы. Разработана асинхронная система на Python с использованием Telethon API. Реализована проверка активности каналов (количество участников, дата последнего поста). Настроена фильтрация по ключевым словам и стоп-словам. Добавлен анализ публикаций за выбранный период. Система автоматически обрабатывает большие объёмы данных без зависаний. Результат для заказчика: заказчик получает сжатый отчёт с 5-10 релевантными сообщениями вместо ручного просмотра тысяч. Экономия времени — более 20 часов в неделю. Стек технологий: Python, Telethon, asyncio, SQLite, регулярные выражения. Заказ успешно выполнен, система стабильно работает и используется по назначению.

Описание Заказчику требовался инструмент для автоматического сбора и скачивания всего видеоконтента с YouTube-каналов или отдельных плейлистов. Задача — извлечь все ссылки на видео (включая пагинацию для каналов с тысячами роликов), отфильтровать по заданным критериям (дата, длительность, название) и скачать видео в высоком качестве с сохранением метаданных (название, описание, дата публикации, субтитры). Решение необходимо для создания архивов образовательного контента, анализа конкурентов, офлайн-просмотра и резервного копирования. Решение • Разработала парсер на Python с использованием yt-dlp для работы с YouTube Data API и прямым парсингом страниц каналов/плейлистов. • Реализовала обход пагинации: автоматический сбор всех видео с канала, обработка плейлистов любой длины. • Настроила фильтрацию контента: по дате публикации, длительности, ключевым словам в названии, количеству просмотров — для выборочного скачивания релевантных видео. • Реализовала загрузку с настройками качества: выбор разрешения, формата, извлечение аудио отдельно, скачивание субтитров и превью. • Добавила сохранение метаданных: экспорт списка видео в CSV/JSON с полями title, url, duration, publish_date, view_count, description. • Обеспечила отказоустойчивость: возобновление прерванной загрузки, пропуск уже скачанных видео, обработка приватных и удалённых роликов, логирование ошибок.

Описание Заказчику требовался инструмент для автоматического мониторинга конкурентов на площадке Yandex Garage с целью формирования актуальной таблицы предложений по аренде автомобилей. Задача — собирать данные о доступных авто, названиях компаний-арендодателей и ценах в реальном времени, нормализовать разнородные данные и экспортировать их в удобный табличный формат (CSV/Excel) для дальнейшего анализа: сравнения цен, выявления демпинга, корректировки собственной ценовой политики и поиска свободных ниш. Решение • Разработала парсер на Python с использованием requests для обхода динамической подгрузки контента на Yandex Garage. • Реализовала механизм обхода базовых защит: ротация user-agent, задержки между запросами, эмуляция реального поведения пользователя. • Настроила извлечение и очистку данных: парсинг названия автомобиля, компании-арендодателя, цены (с приведением к единой валюте и формату), обработка региональных особенностей отображения. • Добавила нормализацию данных: унификация названий авто, фильтрация дублей, обработка пропущенных значений. • Реализовала экспорт в структурированную таблицу (CSV/Excel) с возможностью планирования регулярного обновления и логированием изменений цен для отслеживания динамики.

Описание Заказчику требовалось Android-приложение для быстрой и конфиденциальной фиксации голосовых заметок, лекций и рабочих совещаний. Ключевая задача — полностью оффлайн-транскрибация речи в текст, автоматическая категоризация записей по темам/тегам и мгновенный полнотекстовый поиск по всей библиотеке. Решение должно работать без отправки данных в облако, соответствовать стандартам приватности (NDA/GDPR) и иметь современный, отзывчивый интерфейс для ежедневного использования. Решение • Разработала нативное приложение на Kotlin с использованием Jetpack Compose и архитектуры MVVM + Clean Architecture. • Интегрировала локальную ML-модель для транскрибации речи в реальном времени и пост-обработки аудиофайлов прямо на устройстве. • Реализовала авто-тегирование на основе лёгкого NLP-пайплайна: извлечение ключевых сущностей, дат, имён и тем с возможностью ручной корректировки и дообучения на пользовательских примерах. • Настроила полнотекстовый поиск через Room + FTS5: мгновенный поиск по транскрипциям, подсветка найденных фрагментов, фильтрация по тегам/датам/длительности. • Оптимизировала фоновую работу: Foreground Service для записи, WorkManager для асинхронной обработки, энергоэффективные аудио-настройки, шифрование локальной базы данных.

Описание Заказчику требовался инструмент для точечного привлечения клиентов из тематических Telegram-каналов и групп. Задача: автоматически собрать базу активных пользователей по заданным параметрам (тематика, наличие username, примерная активность), а затем реализовать безопасную рассылку персональных офферов через пул собственных Telegram-аккаунтов. Ключевое требование — минимизировать риски ограничений со стороны платформы, обеспечить высокую доставляемость и персонализацию сообщений без ручного вмешательства. Решение • Разработала модуль парсинга на Pyrogram с подключением к Telegram API: сбор участников каналов/групп, автоматическая фильтрация ботов, закрытых аккаунтов и неактивных профилей. • Реализовала систему управления аккаунтами: загрузка сессионных файлов, интеллектуальная ротация, имитация «прогрева», рандомизация интервалов между сообщениями. • Настроила шаблонизатор рассылок: поддержка динамических переменных ({name}, {source_channel}), чередование текстов, встроенные лимиты на сообщения/аккаунт/день. • Добавила мониторинг и защиту: отслеживание ошибок отправки, автоматическая пауза при срабатывании лимитов Telegram, детальное логирование статусов (доставлено/отклонено/ошибка). • Обеспечила гибкость конфигурации: выбор целевых каналов/групп, настройка порогов активности, режим фонового выполнения с возможностью запуска по расписанию.

Описание Заказчику требовался инструмент для автоматического мониторинга ставок на платформе Stake в реальном времени. Ключевая задача — стабильно обходить многоуровневую защиту от автоматизации, собирать структурированные данные (событие, дата, вид спорта, объект ставки, коэффициент, дата и сумма ставки) и оперативно доставлять их пользователям через Telegram с возможностью гибкой фильтрации по интересующим параметрам. Решение • Разработала отказоустойчивый парсер с механизмами обхода anti-bot защиты: ротация прокси, динамические заголовки, эмуляция поведения реального пользователя. • Настроила сбор, очистку и нормализацию данных по заданным полям. • Интегрировала Telegram Bot API для отправки персонализированных, легко читаемых уведомлений. • Реализовала систему пользовательских фильтров (вид спорта, диапазон коэффициентов, минимальная сумма, дата), позволяющую боту отправлять только релевантные события. • Добавила логирование, автоматическое восстановление сессий и обработку сетевых ошибок для работы в режиме 24/7.

Описание Клиенту требовался инструмент для автоматического мониторинга репутации бренда на площадках (Ozon, Wildberries, Яндекс.Карты, 2GIS). Задача: собирать отзывы в реальном времени, определять тональность через локальную ML-модель, кластеризовать жалобы и похвалы по темам, и формировать наглядный дашборд для отдела качества и маркетинга. Критически важны: работа без отправки данных в облако, высокая точность классификации и возможность экспорта отчётов. Решение • Разработала распределённый парсер на Python с обходом базовых защит: ротация user-agent, задержки, эмуляция поведения, работа через резидентные прокси. • Внедрила пайплайн анализа на локальных моделях: классификатор тональности, NER для извлечения сущностей, кластеризация тем. • Реализовала дашборд: фильтры по дате/площадке/рейтингу, тепловая карта жалоб, тренды тональности, экспорт в Excel/CSV. • Настроила умные уведомления в Telegram: алерты при всплеске негатива, новых жалобах на критичные темы, изменении среднего рейтинга. • Обеспечила приватность и масштабируемость: все модели работают оффлайн, данные хранятся локально, архитектура позволяет подключить новые площадки за 1–2 часа.

Описание Клиенту требовалась автоматизированная система отслеживания цен на маркетплейсах и сайтах конкурентов. Задача: в реальном времени собирать данные по SKU, обходить сложные защиты, выявлять реальные скидки и «фейковые» акции, прогнозировать динамику цен и мгновенно уведомлять ответственных менеджеров через Telegram. Критически важны: точность, масштабируемость, минимальная нагрузка на инфраструктуру и фильтрация информационного шума. Решение • Разработала распределённый парсер на Python с кластером резидентных прокси и ротацией цифровых отпечатков браузера для стабильного обхода anti-bot систем. • Реализовала эвристический анализ скидок: сравнение с историческими данными, выявление искусственных наценок перед распродажами, расчёт реальной выгоды для покупателя. • Внедрила модель прогнозирования динамики цен на основе временных рядов (Prophet/LightGBM), обучающуюся на собранной истории без ручных настроек. • Настроила Telegram-бота с умными уведомлениями: пороговые триггеры, форматированные карточки товаров, inline-кнопки для перехода, экспорта или игнорирования. • Добавила отказоустойчивый пайплайн: Celery + Redis для очередей задач, дедупликация, автоматический ретрай при блокировках, детальное логирование.