Высоконагруженный парсер для сбора данных с 9 маркетплейсов. Обрабатывает 50 000+ товарных позиций в день в автономном режиме.
Что собирает: цены, описания, фото, наличие, данные продавцов.
Реализовано:
- Парсинг JS-страниц через Playwright + быстрые async-запросы (aiohttp)
- Обход антибот-защит, ротация прокси, эмуляция поведения, решение капчи
- Дедупликация и валидация данных
- Выгрузка в CSV / JSON / Excel / Google Sheets / БД (PostgreSQL)
- Автозапуск по расписанию (cron/systemd) + уведомления в Telegram при сбоях
Результат: парсер работает месяцами без вмешательства, дашборд отслеживает здоровье и свежесть данных.