Рабочий проект по регулярному мониторингу активных лотов на площадке Telderi.
Задача — автоматически обходить каталог, собирать карточки лотов и проверять их описания по заданным текстовым признакам. В рабочем наборе используется 49 признаков; внутри каждого прогона удаляются повторяющиеся URL и отдельно контролируется полнота обхода каталога. Неполный проход не выдаётся за полноценный срез.
Сбор реализован на Python через HTTP/JSON без браузерной автоматизации. Карточки обрабатываются параллельно, для сетевых ошибок и ограничений используются повторные запросы с увеличивающейся задержкой. Результат каждого полного запуска — структурированная CSV-выгрузка из 7 полей.
Проект использовался для длительного мониторинга: около 17 месяцев работы, 72 сохранённых датированных среза и порядка 2 000 активных лотов в типичном полном срезе. Выгрузки служили источником новых записей для накопительного мониторингового реестра.
Результат — автоматизированный процесс регулярного сбора, фильтрации и подготовки данных для дальнейшего анализа.
https://github.com/petr-sidorov/telderi-lot-monitor