Написать программу для парсинга всех товаров с интернет-магазина.
Желательно знание Python и Django ORM. Очень важна скорость парсинга.
Три разных скрипта: Один для нахождения всех товаров на сайте. Второй для парсинга информации о товаре, кол-во заказов. Третий для парсинга отзывов товара.
1) Первый скрипт должен находить все товары на сайте и записывать данные в (csv, Postgre, BigQuery): Категория;Артикулы товаров;
Есть одно замечание:
Одежда -> верхняя одежда -> куртки
Одежда -> верхняя одежда -> рубашки
Одежда -> нижняя одежда -> брюки
Нужно парсить только куртки, рубашки и брюки. Но в итоге в категории Одежда должны быть все куртки, рубашки и брюки.
Другими словами, нужно парсить только минимальные категории, при этом учитывать вложенность (Этот момент не проработал, это больше примечание к реализации, а не явный пункт в ТЗ. Если без него будет высокая скорость, то ничего страшного)
2) Второй скрипт должен получать на вход ссылку или артикул товара и парсить информацию, кол-во заказов (более подробно расскажем при личном общении)
3) Третий скрипт должен получать на вход ссылку или артикул товара и парсить кол-во отзывов, рейтинг товара и кол-во каждой оценки(5 звезд, 4 звезды, 3 и тд.)
Опубликован 05.06.2020 в 17:08