Портфолио и кейсы фрилансеров по парсингу данных

Демонстрационный пример сбора, обработки и структурирования данных из интернет-источников. Задача: получить большой объём разрозненной информации и преобразовать его в удобные для дальнейшей работы структурированные данные. В рамках работы: — сбор данных с веб-страниц и списков URL; — извлечение необходимых полей; — очистка и обработка полученной информации; — удаление дублей и лишних данных; — приведение значений к единому формату; — структурирование по столбцам и категориям; — проверка результата; — подготовка данных в требуемом формате. Можно работать с товарами и ценами, характеристиками, каталогами, объявлениями, компаниями и контактами, вакансиями, отзывами, публикациями, списками и другими доступными данными. Результат может быть подготовлен в Excel (XLSX), CSV, JSON, TXT, Word (DOCX) или другом подходящем формате. Способ сбора и обработки подбирается под конкретную задачу, структуру источника и требуемый результат.

Приложение компьютерного зрения для одновременной сегментации людей и дорожных ям. Модель ям дообучена на открытом датасете, а результаты объединяются с отдельной YOLO-моделью людей. Streamlit-интерфейс принимает изображение или снимок камеры, позволяет менять confidence threshold, показывает маски, контуры, рамки, число объектов и время обработки, затем экспортирует результат. На validation-части использованного датасета модель ям показала Mask mAP50 75,5% и mAP50-95 45,8%. Ограничения применения в реальных дорожных условиях указаны явно.

Аналитический инструмент для планирования загрузки аутсорс-команды. Он получает проекты, задачи, сотрудников, роли, часы и ставки из внутреннего API самописной Apptask-системы; предусмотрен резервный контур на Playwright. На основе данных рассчитываются capacity, текущая нагрузка, предполагаемые даты освобождения, bench/overload-риски, plan-vs-actual и финансовые показатели. Rule-based алгоритм предлагает исполнителей по роли, grade и доступности. Есть Tkinter GUI и экспорт в JSON, Markdown, HTML, Discord и Google Docs. Production-внедрение и эффект не заявляются.

Автоматизированный медиапайплайн от обнаружения нового видео до публикации локализованной версии в Telegram. Система скачивает ролик через yt-dlp, извлекает аудио, распознаёт английскую речь моделью Whisper, переводит текст, генерирует русскую озвучку и собирает финальную дорожку через FFmpeg. Временные границы восстанавливаются по маркерам сегментов, а длительность синтезированной речи подгоняется к исходным таймкодам. Готовая озвучка смешивается с приглушённым оригиналом; ошибки обработки отправляются в Telegram.

Backend-сервис обработки платежей на FastAPI и PostgreSQL. Реализованы создание и хранение платёжных операций, транзакционная запись событий через паттерн outbox, фоновая доставка сообщений в RabbitMQ, повторные попытки и отдельная очередь для необработанных сообщений. Webhook-запросы подписываются и проверяются, схема БД управляется через Alembic. Проект упакован в Docker и содержит автоматические тесты. Основной акцент — целостность данных, идемпотентность и устойчивость интеграционного контура при временных сбоях внешних систем.

Многофункциональный внутренний Telegram-бот для автоматизации работы отдела лидогенерации. В одном интерфейсе объединены операции CRM, управление проектами, источниками и ретестами, запуск внешних парсеров, сбор статистики и отчёты руководителей. Реализованы авторизация и ACL по ролям, модульные handlers и FSM, локальная реляционная модель, фоновые задачи, Excel/Google Sheets, аудит действий и обработка сетевых сбоев. Интегрированы CRM API, Yandex Maps/Cian/SpyMetric, XMLRiver и Telegram Bot API. Развёртывание автоматизировано через GitHub Actions и SSH.

Внутренняя платформа, самостоятельно разработанная для команды лидогенерации. Flask API принимает задания на сбор данных из Yandex Maps, Cian и SpyMetric, распределяет их по отдельным очередям и multiprocessing pools, выделяет свободные browser sessions и прокси. Реализованы статусы очередей и health endpoint, возврат ресурсов после выполнения, обработка CAPTCHA и перехват сетевых запросов Yandex Maps. Результаты объединяются через pandas, отправляются Excel-файлом в Telegram и публикуются в Google Sheets. Сервис использовался через защищённый VPN-туннель без открытия публичных портов.

ETL-инструмент для переноса товарного каталога Sima-Land в многостраничный шаблон Kaspi XLSM. Прямые поля заполняются кодом, а сложные атрибуты сопоставляются через Gemini с динамической JSON Schema, построенной из справочников Kaspi. Реализованы пакетная обработка, проверка структуры ответа, автоматическое уменьшение группы полей при ограничениях API, атомарные checkpoints и продолжение после сбоя. Результат записывается с сохранением VBA; изображения загружаются асинхронно с ограничением конкурентности и повторными попытками.

Backend-сервис для автоматического анализа телефонных разговоров и передачи результата в Bitrix24. Система принимает запись звонка, запускает распознавание речи через несколько STT-провайдеров, нормализует транскрипт и передаёт его LLM с требованием строгого структурированного ответа. Реализованы FastAPI, фоновые задачи, идемпотентная обработка, валидация результата, повторные попытки, Docker-конфигурация, тесты и демонстрационный web-интерфейс. Проект показывает практическую связку CRM + телефония + STT + LLM без неподтверждённых обещаний о бизнес-метриках.

Демонстрационный прогон на books.toscrape.com — сайте, который сделан специально для тренировки парсеров. Цифры ниже настоящие, но ничей магазин при этом не затронут. Скрипт сам проходит постраничную навигацию, пока страницы не кончатся. Цена становится числом, рейтинг — цифрой, наличие — да/нет. Дубли по названию убираются, файл открывается в Excel с закреплённой шапкой. Результат: 999 строк с 50 страниц за 25 секунд, найден один дубль. Файлы заказчиков не публикую — это не мои данные. Нужен пример на вашем случае: пришлите одну страницу каталога, покажу на ней.