URLы источника имеют вид:
/conf_posts/26416.html
Номер страниц инкрементится.
Домен напишу в личке.
Обходить страницы по логике: наибольший номер страницы в базе минус 250.
Почти у всех данных в источнике есть соответствующий class(title-name, date-conf, place-conf...)
Данные необходимо обновлять/добавлять в модель Django по следующей логике:
Если такого номера страницы нет, то добавляем. Если есть, то обновляем.
Также, необходимо предусмотреть action, который будет стартовать парсер.
Делать не более 1 запроса в 2 секунды.
Модель:
Дата добавления
Дата обновления
Номер страницы
Название мероприятия
Дата мероприятия
Место проведения
Аккредитовано (boolean, True если присутствует)
Кол-во кредитов
Контактное лицо
Ссылка
Домен (парсим домен из ссылки)
Целевая аудитория ВО
Целевая аудитория СО
Образовательные цели
Методы обучения
Методы контроля
Методы учета присутствия
Орг. взнос
Опубликован 09.11.2020 в 16:14 Последнее изменение: 09.11.2020 в 16:14
Заказ находится в архиве