Заказчик
Заказчик researcher74 | FL.RU

Заказчик

На сайте 6 лет и 7 месяцев (заходил 6 лет 5 месяцев 14 дней назад)
1
125.9
Рейтинг
125.9
Все (1)       Заказы (1)        Вакансии (0)       Конкурсы (0)
Разместить заказ
23 Августа 2018
Бюджет: 3000 руб
Необходимо написать скрипт на Python 2.7 с использованием библиотеки scrapy, который будет выполнять скрапинг страниц на сайте chelyabinsk.flamp.ru и сохранять отзывы в файлах формата json. Например, сохранять в файле все отзывы со страницы chelyabinsk.flamp.ru/firm... после нажатия кнопки «Показать ещё отзывы» и после прокрутки этой страницы до конца.



Если открыть эту страницу в Гугл Хром и открыть инструменты разработчика, видим (см файл «flamp1.png»), что при нажатии на кнопку «Показать ещё отзывы» выполняется запрос «reviews?limit=5», далее после страницы прокрутки мышью выполняется запрос «reviews?limit=5&offset_id=3273977», далее при прокрутке мышью – запрос «reviews?limit=5&offset_id=2868699» и т.д. Причём в данных, которые возвращает предыдущий запрос, есть ссылка на следующий запрос, например, запрос «reviews?limit=5» возвращает ссылку на запрос «reviews?limit=5&offset_id=3273977»:

"next_link":flamp.ru/api/2.0/filials/...



Данные поступают в формате json, например, текст отзыва – это значение поля “text” (см файл «flamp2.png»). Необходимо сохранить в файле json данные о всех отзывов с указанной страницы. Например, на странице «chelyabinsk.flamp.ru/firm... есть 27 отзывов на момент 23.08.18. Пусть в файл сохраняются следующие поля: "next_link", "filial_id", "user_id", "text", "rating", "date_created", "source", "user":{"name"}, "official_answer"



Работа с библиотекой Scrapy описана здесь:

docs.scrapy.org/en/latest...



Решение такой же задачи описано здесь:

habr.com/post/312816/



Будем считать, что задание выполнено, если Вы отправляете мне скрипты Scrapy, которые успешно выполняются на моём компьютере (на Python 2.7)

Прошло времени с момента публикации: 6 лет 7 месяцев 2 дня 20 часов 28 минут
Раздел: Программирование / Веб-программирование

Рейтинг: 5447.1 Исполнитель определен:
Наши партнеры
Сведения об ООО «Ваан» внесены в реестр аккредитованных организаций, осуществляющих деятельность в области информационных технологий. ООО «Ваан» осуществляет деятельность, связанную с использованием информационных технологий, по разработке компьютерного программного обеспечения, предоставлению доступа к программе для ЭВМ и является правообладателем программы для ЭВМ «Платформа FL.ru (версия 2.0)».