Есть парсер объявлений. Есть админская часть (где настраиваются парсера) и есть веб часть, где отображаются объявы. Сейчас у парсера есть 2 режима: парсинг по ключам (в базе пока 300 слов) или парсинг по определенным фильтрам (например указываем гео, дату) и парсер пытается выкачивать максимальное кол-во объявлений согласно задаче.
За 1 день парсер может обработать полностью выдачу за 1 какой-то конкретный день или пройтись по ключам за 1 конкретный день. Максимально получалось выкачать 1кк объявлений/дейли.
Хочется:
- чтобы посмотрели код (написан на питоне)
- изучили алгоритм парсинга
- указали ошибки и что даст их исправление
- предложили варианты оптимизации
- внедрили это и отладили
- дали рекомендации как это масштабировать (чтобы за день парсить каждое гео (хотя бы топ 30-50гео), чтобы по каждому гео на сегодня была актуальная база объявлений за вчера).
Чтобы по итогу я мог настроить парсинг по ключам и фильтрам в админке, запустить их и быть уверенным что максимальное количество объявлений будет спаршено. А далее имел понимание как это машстабировать на все гео.
Опубликован 07.09.2026 в 09:10 Последнее изменение: 07.09.2026 в 09:10
Заказ находится в архиве