Парсинг данных и создание БД: заказать услугу у исполнителя Kirill Pinfox на бирже удаленной работы FL.RU

Напишу быстрый и надежный скрипт для сбора данных с любых сайтов: маркетплейсов, досок объявлений, новостных порталов, каталогов и соцсетей. В отличие от стандартных подходов, я использую асинхронное программирование (aiohttp/asyncio). Это значит, что ваш парсер будет работать в разы быстрее, экономя время и ресурсы сервера. Данные будут чистыми, структурированными и готовыми к анализу или импорту в вашу CRM/базу данных. Что можно спарсить: - Товары, цены, наличие и отзывы с маркетплейсов. - Объявления с Avito, ЦИАН, Авито Недвижимость и аналогов. - Контакты, email и телефоны из открытых каталогов. - Новости, статьи и контент для наполнения сайтов. - Данные из закрытых разделов (по логину и паролю). Что входит в базовый пакет: 1. Разработка скрипта парсинга: - Сбор данных с 1-3 категорий/страниц (до 500-1000 карточек/страниц). - Извлечение всех нужных полей (название, цена, описание, ссылки на фото, характеристики и т.д.). 2. Асинхронная архитектура: - Использование aiohttp и asyncio для высокой скорости сбора. - Настройка задержек (delays) и ротации User-Agent, чтобы не попасть в бан. 3. Сохранение данных: - Выгрузка в удобный формат на выбор: CSV, Excel (.xlsx), JSON или PostgreSQL. - Очистка данных от лишних пробелов, HTML-тегов и мусора. Что НЕ входит в базовую стоимость: - Обход сложных CAPTCHA (reCAPTCHA, hCaptcha, Cloudflare Turnstile) — требует платных сервисов, которые оплачиваются отдельно. - Парсинг сайтов с очень сложной динамической защитой (продвинутый Cloudflare, Akamai). - Предоставление прокси-серверов (если они нужны, вы покупаете их сами, я помогу интегрировать). - Постоянная поддержка и обновление скрипта, если сайт изменит свою верстку (делается за доплату). Используемые технологии: - Язык: Python - Асинхронность: aiohttp, asyncio - Парсинг HTML: BeautifulSoup4, lxml, Requests - Обработка данных: Pandas, csv, json - Базы данных: PostgreSQL (asyncpg/SQLAlchemy)

Заказчик получит:

Исходный код скрипта с комментариями, файл для быстрой установки зависимостей, инструкция по запуску и настройке

До начала работы заказчик должен предоставить:

От вас понадобится: - Ссылки на сайты/страницы, которые нужно парсить. - Список полей, которые нужно собрать (например: Название, Цена, Артикул, Ссылка на картинку). - Желаемый формат сохранения (CSV, Excel, JSON или БД). - Доступы (логин/пароль), если данные находятся в закрытом разделе сайта. Если вы не знаете, как сформулировать ТЗ — просто скиньте ссылку на сайт и напишите «хочу собирать вот это», я сам изучу страницу и предложу план!