Требуется сделать ряд интеграций разрозненных проектов, для этого нужно написать шесть небольших отдельных модулей на языке Python 2.7, чтобы они запускались по крону, забирали данные из разных источников и загружали их в BigQuery (BQ)
1. MySQL – BigQuery
• Подключаемся к базе данных MySQL.
• Берем в конфигурационном файле (1. Данные для доступа к базе 2. Название таблиц с данными 3.Названия столбцов, которые будем выгружать 4. Данные для доступа к BQ 5. Названия таблиц и столбцов куда будем складывать данные)
• Берем строки, которые ИЗМЕНИЛИСЬ с даты последней загрузки и складываем их в BQ
2. Excel – BigQuery
• Подключаемся к файлу Excel расположенному на удаленном ftp.
• Берем в конфигурационном файле (1. Данные для доступа 2. Название таблиц с данными 3. Названия столбцов, которые будем выгружать 4. Данные для доступа к BQ 5. Названия таблиц и столбцов куда будем складывать данные)
• Берем строки, которые ИЗМЕНИЛИСЬ с даты последней загрузки и складываем их в BQ
3. XML – BigQuery
• Подключаемся к файлу с XML расположенному на удаленном ftp.
• Берем в конфигурационном файле (1. Данные для доступа 2. Название таблиц с данными 3. Названия столбцов, которые будем выгружать 4. Данные для доступа к BQ 5. Названия таблиц и столбцов куда будем складывать данные)
• Берем строки, которые ИЗМЕНИЛИСЬ с даты последней загрузки и складываем их в BQ
4. GetResponse – BigQuery
• Первый файл для активации Callback API function
• Второй файл получает ВСЕ ВИДЫ событий в сервисе и складывает их в BQ
5. Битрикс24 – BigQuery
• Есть подробнейшее видео на сервисе рассказывающее как делать модули. При необходимости наш сотрудник может частично проконсультировать.
• Мониторим всю активность пользователей в CRM Битрикс24 и записываем в BQ
6. Google Analitics – BigQuery
• Установить и настроить
7. Написать bash файл, который будет устанавливать (на Linux систему) Python2.7 (если его там не установлено) и загружать необходимые для разработанных модулей библиотеки
Каждый модуль:
1. Должен создавать лог файл о любой своей активности
2. Весь код должен быть с обработкой исключений
3. Весь код должен быть подробно задокументирован
Оплата через сервис безопасной сделки.
Срок исполнения 2 – 3 недели.
Отвечайте пожалуйста только внимательно прочитав все задание и условия.