VK Social Media Parser Асинхронный распределённый парсер данных ВКонтакте на базе Scrapy, предназначенный для масштабного сбора и хранения публичного контента сообществ. Стек: Python, Scrapy, MongoDB, Docker, VK API Возможности: Парсинг метаданных групп (подписчики, аватары, статистика) через VK Execute API с батчингом до 350 групп за запрос Сбор постов с фильтрацией по дате последнего сохранённого поста в БД — исключает повторную загрузку Разделение рекламных и органических постов в отдельные коллекции MongoDB Пакетная вставка постов (буфер 500 записей) для минимизации нагрузки на БД Ротация прокси и токенов VK-аккаунтов с автоматической проверкой работоспособности перед запуском Горизонтальное масштабирование: N процессов × M пауков, каждый со своим токеном и прокси Обработка rate-limit ошибок VK API (error 6, 13, 29) с сохранением прогресса в JSON-логи Автоматическое сжатие изображений (JPEG, настраиваемое качество) с выгрузкой в S3-совместимое хранилище Деплой через Docker Compose с cron-расписанием и volume-маппингом для данных и логов