Разработка скрипта для парсинга
При парсинге могут возникнуть следующие проблемы:
- блокировка ip требуется прокси
- блокировка по количеству обращений к ресурсу
- таймаут соединения с сайтом или обрыв загрузки
Нужно обрабатывать все возникающие обрывы
все складываем в базу данных MySQL, изображения на диск
Поля парсинга:
1. Заголовок
2. Лот
3. Оценка – Добавлять в таблицу Оценок
4. Стартовая цена
5. Прогнозируемая цена
6. Аукцион – Добавлять в таблицу Аукционов
7. Кузов
8. Год регистрации
9. Комплектация
10.Двигатель
11.Трансмиссия в справочник типов трансмиссий
12.Цвет
13.Пробег
14.Дополнительно