Парсер каталога интернет-магазина в Excel и CSV на Scrapy

Ссылка на работу
image image image
Универсальный парсер каталогов интернет-магазинов на Scrapy с выгрузкой в Excel и CSV. Задача: по ссылке на категорию собрать весь ассортимент магазина — со всех страниц каталога, с ценами, наличием и характеристиками — в таблицу, с которой удобно работать. Что умеет: • Обходит все страницы категории и открывает каждую карточку товара • Собирает название, цену, старую цену и скидку, наличие и остатки (в том числе по нескольким магазинам), артикул, бренд, категорию, фото и все характеристики — каждая в своём столбце • Excel: лист «Товары» (порядок как на сайте, фильтры, закреплённая шапка, ссылки) и «Сводка» по категориям — количество, в наличии, со скидкой, мин./средняя/макс. цена • CSV, который открывается в русском Excel без «кракозябр» • Новый сайт — файл настроек с CSS-селекторами, без правки кода; проверка настроек одной командой • Бережно к сайту: robots.txt, паузы, автоматическое замедление, повторы при ошибках • Можно прервать и продолжить с того же места — собранное не теряется • Понятные сообщения, если сайт не отвечает или закрыт защитой от ботов Пример — настоящий магазин «Стройпарк»: 38 перфораторов с 2 страниц за 1 минуту 14 секунд. Стек: Python, Scrapy, BeautifulSoup, openpyxl, Docker. 76 автотестов, GitHub Actions. Код открыт: github.com/SHUHER322/catalog_parser
https://github.com/SHUHER322/catalog_parser