Парсер на Python каждый день обходит сайты трёх конкурентов магазина электроники: HTML-каталог с пагинацией, sitemap с JSON-LD и SPA с API. Сопоставляет товары с каталогом, присылает уведомления об изменениях, рекомендует цену по правилам и выгружает отчёт в Excel. Python работает прямо в браузере.
Что умеет:
— Три разных сайта — три парсера: HTML-карточки с пагинацией, robots.txt и sitemap.xml с JSON-LD на страницах товаров, SPA, где адрес API парсер находит в скрипте
— Вежливый обход: robots.txt соблюдается, пауза между запросами, повторы при ошибках сервера — всё видно в журнале запросов
— Редизайн сайта конкурента: карточки пропали — парсер переходит на микроразметку schema.org и предупреждает, что его пора проверить
— Сопоставление с каталогом по штрихкоду, модели и характеристикам с объяснением; сомнительные пары помечены «проверьте», их можно подтвердить или отклонить
Стек: Python · BeautifulSoup · pandas · openpyxl · pytest · Pyodide · WebAssembly · Web Worker · Comlink · React · TypeScript · Recharts · Zustand
Это демо я разработал для своего портфолио на antongoncharov.ru — его можно попробовать вживую: https://antongoncharov.ru/demo/monitoring-cen
https://antongoncharov.ru/demo/monitoring-cen