Парсер каталога интернет-магазина в Excel и CSV на Scrapy
Универсальный парсер каталогов интернет-магазинов на Scrapy с выгрузкой в Excel и CSV.
Задача: по ссылке на категорию собрать весь ассортимент магазина — со всех страниц каталога, с ценами, наличием и характеристиками — в таблицу, с которой удобно работать.
Что умеет:
• Обходит все страницы категории и открывает каждую карточку товара
• Собирает название, цену, старую цену и скидку, наличие и остатки (в том числе по нескольким магазинам), артикул, бренд, категорию, фото и все характеристики — каждая в своём столбце
• Excel: лист «Товары» (порядок как на сайте, фильтры, закреплённая шапка, ссылки) и «Сводка» по категориям — количество, в наличии, со скидкой, мин./средняя/макс. цена
• CSV, который открывается в русском Excel без «кракозябр»
• Новый сайт — файл настроек с CSS-селекторами, без правки кода; проверка настроек одной командой
• Бережно к сайту: robots.txt, паузы, автоматическое замедление, повторы при ошибках
• Можно прервать и продолжить с того же места — собранное не теряется
• Понятные сообщения, если сайт не отвечает или закрыт защитой от ботов
Пример — настоящий магазин «Стройпарк»: 38 перфораторов с 2 страниц за 1 минуту 14 секунд.
Стек: Python, Scrapy, BeautifulSoup, openpyxl, Docker. 76 автотестов, GitHub Actions.
Код открыт: github.com/SHUHER322/catalog_parser