Отзывы фрилансеров:
+ 1
- 0
Зарегистрирован на сайте 15 лет и 6 месяцев
Бюджет:
10 000 руб
125.42 $ — 106.88 €
## Задача
Разработать устойчивый скрейпер сайта с несколькими документными разделами.
## Технологии и среда
- Python 3.10+
- **zendriver** (CDP, реальный Chrome; без Selenium/WebDriver)
- Доступ через веб-интерфейс (админ-панель)
- Бэкенд панели: FastAPI + планировщик (APScheduler/Task Scheduler)
- Хранилище: Postgres (предпочтительно) или SQLite; экспорт JSONL/CSV
## Функциональные требования
- Обход разделов с фильтрами (год/категория), пагинация, интеграция со встроенным поиском
- Парсинг карточек документов, извлечение метаданных и текста, загрузка вложений (PDF/HTML/др.)
- Дедупликация, версионирование по хешам, связи между материалами различных разделов
- «Вежливость» (rate-limit, ретраи, backoff), логирование и мониторинг
- Веб-панель: запуск/расписание задач, статус, логи, ручная выгрузка данных
## Ожидаемые результаты
- Рабочий скрейпер с конфигурируемыми профилями обхода
- БД со схемой метаданных, папка вложений, экспорт в JSONL/CSV
- Короткая техдокументация по развёртыванию и эксплуатации
## Требования к исполнителю
- Опыт с Chrome DevTools Protocol / CDP (желательно zendriver)
- Уверенный HTML-парсинг, устойчивые ожидания/селекторы, обработка ошибок
- Практика построения админ-панелей и планировщиков задач
- Понимание нюансов антибот-детекта и «бережного» скрейпинга
## Плюсом будет
- Опыт создания парсеров
## Отклик
Коротко опишите релевантные проекты, стек, сроки и ориентир по бюджету. Полное ТЗ направлю выбранным кандидатам в личные сообщения.
Разделы:
Опубликован:
30.08.2025 | 16:53 [поднят: 30.08.2025 | 16:53]
Заказ находится в архиве