Веб краулер, который сможет собирать информацию с веб ресурса.

Необходимо разработать и поднять микросервис обладающий следующими функциональными возможностями:

База данных, в которой будет находится самая актуальная найденная информация.

Веб краулер, который сможет собирать информацию с веб ресурса. Собирать информацию нужно с набора динамических страниц (включающих пагинацию). Собранные данные необходимо хранить в базе данных и поддерживать их актуальность.

Возможность запуска веб краулера с определенной периодичностью с целью синхронизации базы данных.

Приватный API интерфейс, который сможет отдавать актуальную информацию из базы данных.

Требования:

Знание HTTP/HTTPS протоколов.

Опыт в разработке веб краулеров для парсинга веб ресурсов.

Умение работать с базой данных.

Знание ЯП и умение развернуть микросервис на его основе.

Опыт разработки API интерфейса.

Опыт работы с Cron Jobs (Scheduled Tasks in Windows) или другими ресурсами для выполнения периодичных асинхронных задач.

Выбор кандидата будет происходить на основе ваших предложений:

Отправляйте нам, ваши предложения на чем Вы считаете разработку более разумной и перспективной, аргументируйте свое мнение.