Парсинг полной базы данных аниме с MyAnimeList.net с высокоскоростной обработкой через систему ротации прокси.
Реализовано в коммерческом проекте: успешно собрано 13,500 записей аниме в формате "ID | Название" при помощи технологии ротации прокси.
Проект включал полный цикл: анализ структуры сайта, создание модульной архитектуры парсера, реализацию системы ротации прокси для обхода rate limiting, экспорт в Excel формат.
Применение: создание баз данных аниме, исследовательские проекты, аналитика контента, мониторинг новых релизов, создание рекомендательных систем.
Ключевые особенности:
• Система ротации прокси для максимальной скорости
• Adaptive rate limiting с автоматической настройкой
• Модульная архитектура с обработкой ошибок
• Экспорт в Excel с форматированием
• CLI интерфейс для удобства использования
• Система восстановления при сбоях
Технологии: Python 3.12, httpx, selectolax, pandas, xlsxwriter, proxy rotation, asyncio
Результат: готовая база данных 13,500 аниме в Excel формате с ID и названиями.