Проект для риэлторского агентства: асинхронный сервис, который автоматически собирает новые объявления о продаже и аренде недвижимости с Avito и Cian, нормализует данные и отдает их по простому HTTP API. Цель - быстро находить свежие лоты от собственников и оперативно передавать их в CRM или рабочий процесс. Для кого и на что обратить внимание • Для специалистов по поиску объектов и отделов продаж, которым критична скорость реакции на новые объявления • Высокая скорость и надежность: параллельный опрос, умный цикл поллинга, устойчивость к 429 и 5xx с бэк-оффом и ретраями • Сервис хранит компактный пул последних объявлений и отдает их за миллисекунды по GET /get_new_offers?limit=N • Защита от антиботов: мобильные TLS отпечатки, реалистичные User-Agent, поддержка нескольких клиентов и прокси • Простая конфигурация: один YAML с локацией, типом сделки, интервалами, прокси • Требования доступа: для Avito используются куки авторизованного аккаунта, для Cian - HTTP прокси Технологии и реализация • Python, aiohttp, curl_cffi для TLS, lxml для парсинга, pydantic для моделей • Асинхронное хранилище JSON с лимитом на размер и потокобезопасной записью • Гибкая конфигурация Avito/Cian, ротация клиентов и прокси Результаты • Объявления появляются в системе в течение секунд после публикации • Сервис стабильно переживает пики нагрузки и временные ограничения площадок • Заказчик получил готовый к продакшн инструмент мониторинга, который экономит часы ручного поиска и повышает конверсию