Примеры работ и кейсы по направлению «Парсинг данных»

Автоматизация учета товарных накладных, прозрачность остатков, расчетов с поставщиками.

Работа была выполнена по заказу научного сотрудника МВА имени К. И. Скрябина для кандидатской работы. Был реализован авторский алгоритм анализа ограничений Россельхознадзора по импорту в РФ крупного рогатого скота из указанной страны, а также эпидемической ситуации в соответствующей стране по данным мирового агентства WOAH. Существенная часть работы заключалась в скраппинге данных с сайта Россельхознадзора и дашборда WOAH WAHIS. Работа осложнялась тем, что дашборд WOAH WAHIS реализован полностью как js oclick приложение, что потребовало эмуляции браузера через playwright для имитации последовательности пользовательских действий. Данные выгружаются раз в день отдельным скриптом на диск (в будущем возможна миграция в базу данных), бэкенд на FastApi читает их при загрузке, и выполняет анализ при запросе по API. Также сделана локализация статичных текстов (в будущем возможен автоперевод выгруженных данных с помощью LLM), нормализация данных двух систем, и тонкий клиент на vue.js. Инкапсуляция логики в бэкенде позволяет подключить также телеграмм бота и другие системы, и в целом приложение написано в архитектуре, допускающей расширение и запуск в коммерческую эксплуатацию (оставлено на будущее по желанию заказчика). Для удобства разв`ёртывания также был разработан docker compose и ci/cd скрипт. Код покрыт юнит и автотестами и разработана утилита для удобства разработки. Система еще в разработке и недоступна публично.

Нужно написать скрипт, который будет брать запрос из таблицы, находить по этому запросу изображения в поисковике, и вставлять найденные изображения в таблицу!

Парсинг и Web Scraping Масштабный сбор данных: Собирал ссылки с 20 страниц каталога (Selenium), парсил 200 рецептов с полной структурой (ингредиенты, инструкции, питательная ценность). Robust парсер: Обработка CSS-селекторов, fallback логика для ингредиентов, JavaScript-выполнение для тегов через execute_script(). Оптимизация: Headless Chrome, WebDriverWait, graceful error handling — FAIL-логи + continue для 100% покрытия.

Представляем готовое решение — интеллектуальный бот-психолог, который работает на стыке искусственного интеллекта и доказательной психологии. Система уже функционирует в двух форматах: Telegram-бот (@Psychology_SCRAPS_Bot) и полноценный веб-интерфейс. 🔍 Что умеет продукт? AI-анализ запросов: Использует модель Mistral для глубокого понимания контекста и извлечения психологических терминов. База знаний: 3180+ научных статей, с возможностью автоматической генерации новых материалов при необходимости. Умные ссылки: Автоматически связывает термины и понятия, создавая персонализированные цепочки знаний. Полная статистика: История запросов, активность, аналитика вовлечённости. 🚀 Рабочий процесс: Пользователь описывает ситуацию → AI анализирует, выделяет ключевые концепции → система ищет или создаёт статью → выдаёт структурированный ответ с возможностью углубления в тему. 💡 Уникальность: Это не просто чат-бот, а самообучающаяся система, которая синхронизируется между Telegram и веб-платформой. Подходит для: Психологических онлайн-сервисов Образовательных проектов Корпоративных wellness-программ Личного использования коучами и терапевтами 🛠 Технологии: Python, Mistral AI, Telegram Bot API, асинхронная обработка, адаптивный веб-интерфейс. Продукт готов к использованию, но легко кастомизируется под ваши задачи: добавление новых модулей, интеграция с CRM, расширение базы знаний, белая маркировка.

Разработал готовое решение для парсинга каталогов запчастей Laximo с фильтрацией и выгрузкой в Excel. Система полностью автоматизирует сбор данных об автомобилях, узлах и деталях. 🔧 Ключевые возможности: Пошаговая фильтрация по марке, модели, году и другим параметрам Автоматический обход категорий, узлов и деталей Экспорт в Excel с гиперссылками на визуальный каталог Веб-интерфейс для удобного управления процессом Готовый deployment на Linux сервере (systemd + Nginx) 💼 Для кого полезно: Автодилерам и сервисным центрам Интернет-магазинам автозапчастей Поставщикам автомобильных компонентов Компаниям, работающим с каталогами запчастей 📈 Преимущества: Экономия времени на ручной сбор данных Структурированные данные готовые к импорту в CRM/ERP Масштабируемая архитектура на FastAPI Детальное логирование и обработка ошибок Готов реализовать аналогичные решения под ваши задачи или доработать текущую систему. Есть опыт интеграции с различными API, парсинга сложных структур данных и создания автоматизированных систем сбора информации. 💰 Стоимость: от 15 000 ₽ за базовую версию, зависит от сложности и объема работ. Пишите в ЛС для обсуждения деталей вашего проекта!

Полный, обновляющий данные парсер сайта proballers.com выполненный на python. Для обхода защит использовались технологии x-ray прокси (бесплатные впн подключения, переделанные в прокси), а также curl_cffi для обхода cloudflare блокировки. В результате получилась база данный mysql размером более 10 гигабайт. Все данные с сайтат спарслись полностью, парсер имеет возможность обновлять базу данных.

Клиент заметил, что многие продавцы размещают свои объявления только на одной из двух крупнейших площадок — Avito. При этом на Циан, который считается более профессиональной платформой для недвижимости, эти же объекты могут не попадать. Это создает «слепую зону» и позволяет упускать потенциально выгодные лоты с менее высокой конкуренцией. Клиент поставил задачу разработать инструмент, который автоматически находил бы объявления о продаже квартир на Avito, которые отсутствуют на Циан.

🚀 Маркетинговая система сбора данных о товарах ⭐ Что делает приложение? 🔍 Анализирует спрос по любому ключевому слову Введите запрос — и система покажет, сколько товаров по нему представлено на рынке, сколько страниц и какую активность можно ожидать. ⚙️ Полностью автоматизирует сбор данных Вы выбираете количество страниц — приложение само проходит их, собирая товары с высокой скоростью и точностью. ⏱ Настраивает задержки между запросами Чтобы сбор выглядел максимально естественно и безопасно. 📊 Показывает статистику в реальном времени — текущая страница — количество собранных товаров — общий объём выборки 📁 Сохраняет запросы и управляет ими История запросов доступна в один клик — больше не нужно снова вводить данные. 🔗 Приложение доступно по ссылке: http://188.225.57.224:8803/

Был выполнен заказ по парсингу частных домов с сайта Cian.ru по конкретному запросу и различным фильтрам с экспортом в файл xlsx с возможностью фильтров по категориям: цена, дата публикации, кол-во просмотров, площадь дома, этажность дома, площадь участка, направление (шоссе) и удаленность от мкад. Итого получилось 1978 объявлений красиво оформленных в указанном формате.