Необходимо написать скрипт на Python 2.7 с использованием библиотеки scrapy, который будет выполнять скрапинг страниц на сайте
и сохранять отзывы в файлах формата json. Например, сохранять в файле все отзывы со страницы
после нажатия кнопки «Показать ещё отзывы» и после прокрутки этой страницы до конца.
Если открыть эту страницу в Гугл Хром и открыть инструменты разработчика, видим (см файл «flamp1.png»), что при нажатии на кнопку «Показать ещё отзывы» выполняется запрос «reviews?limit=5», далее после страницы прокрутки мышью выполняется запрос «reviews?limit=5&offset_id=3273977», далее при прокрутке мышью – запрос «reviews?limit=5&offset_id=2868699» и т.д. Причём в данных, которые возвращает предыдущий запрос, есть ссылка на следующий запрос, например, запрос «reviews?limit=5» возвращает ссылку на запрос «reviews?limit=5&offset_id=3273977»:
"next_link":
Данные поступают в формате json, например, текст отзыва – это значение поля “text” (см файл «flamp2.png»). Необходимо сохранить в файле json данные о всех отзывов с указанной страницы. Например, на странице «
есть 27 отзывов на момент 23.08.18. Пусть в файл сохраняются следующие поля: "next_link", "filial_id", "user_id", "text", "rating", "date_created", "source", "user":{"name"}, "official_answer"
Работа с библиотекой Scrapy описана здесь:
Решение такой же задачи описано здесь:
Будем считать, что задание выполнено, если Вы отправляете мне скрипты Scrapy, которые успешно выполняются на моём компьютере (на Python 2.7)