Для сбора данных c хостов нужно написать скрипты на Python.
Будет предоставлен список хостов и список типов данных, которые нужно собрать с сайта.
В результате нужно будет закоммитить скрипт, который будет в STDOUT отдавать JSON/XML по схеме.
Более подробную информацию по задачке по skype/telegram.
Технические ограничения
Язык: Python 2.7
Рекомендуемые библиотеки: grab, beautifulsoup4, lxml, requests, scrapy
Примеры задач
Хост:
Описание:
Нужно собрать информацию по следующим объектам:
- отделения
- филиалы
- терминалы
XML формат:
Хост:
Описание:
Необходимо извлечь описание и калорийность продуктов питания.
список продуктов:
информация про продукт:
Нужно собрать:
- название (title)
- картинку (image)
- описание (description)
- калорийность (energy)
- белки (nutrients/macros/protein)
- жиры (nutrients/macros/fat)
- углеводы (nutrients/macros/carbohydrate)
- пищевая ценность (nutrients/nutritiveValue), словарь, ключи – текстовые названия элементов
- витамины (nutrients/vitamins), словарь, ключи – последний компонент url (
-> holin)
- минеральные вещества (nutrients/minerals), словарь, ключи – последний компонент url (
-> ftor)
Пример JSON:
UPD: Если есть вопросы по задачам, то можно их задавать в комментарии.