Написать парсер сайта, который будет ежедневно обходить сайт и сгружать данные в google sheets. Адрес сайта lesegais (точка) ru/open-area/ в нем есть несколько разделов:
lesegais точка ru/open-area/goscontract
lesegais точка ru/open-area/rent
lesegais точка ru/open-area/buysell
lesegais точка ru/open-area/use
lesegais точка ru/open-area/deal
lesegais точка ru/open-area/mark
lesegais точка ru/open-area/declaration
В этих разделах таблицы с данными. Парсим именно таблицу, фрагмен понятный, больше ничего по страницам искать не нужно. Первый парсинг будет самым большим. Потом в таблицы просто добавляем новые строки за 1 день (то, что накопилось за день проходим ночью следующего дня и добавляем в таблицу).
Возможно потребуется многопоточность и обход серверной блокировки (либо прокси либо tor сервер).
1 раздел = 1 документ google sheets
!парсер поставить на сервер
Опубликован 23.09.2020 в 11:28 Последнее изменение: 23.09.2020 в 11:47
Заказ находится в архиве