Бесплатно зарегистрируйся и получай уведомления о новых проектах по работе

Перенос базы данных mysql в облако для ускорения импорта дан

Срочный проект   Для всех
Поделиться:
Заказчик
Отзывы фрилансеров: + 3 0 - 0
Зарегистрирован на сайте 2 года и 1 месяц
Бюджет: по договоренности
Имеется база данных mysql, которая хранит посчитанные данные из архивированных текстовых файлов(1Тб) хранящиеся на ftp-сервере. 
Текстовые файлы содержат информацию об играх(логи) в виде текста и цифр. 
Парсинг и расчёт параметров игр идёт с помощью php скриптов, которые переводят текстовый формат игры в массивы: 
game:[gameid:1029,date:'2018-01-01']; 
stats:[ 
[playernae:'pl1',stat1:1] 
[playernae:'pl2',stat1:1,stats2:0] 

также возможны дубли игр по ID. 
Мы вставляем одну игру. Если она вставилась, то добавляем параметр в базу. Если не вставилась(установлены уникальные ключи), то значит это был дубль, и мы его пропускаем. 
В качестве базы взят не чистый mysql, а percona. 
Максимально достигнутая скорость импорта достигает 40Гб архивированных исходных данных в сутки. Параметры текущего сервера: 2x E5-2640v4 3.4ГГц (10 ядер) + 32Gb RAM + SSD. В качестве ОС используется Debian-9-x86_64. 
По нашим замерам узким местом при импорте является процессор и невозможность вставки данных в базу bulk-insert-ом. 

Цель: найти и реализовать(помочь реализовать) решение, позволяющее парсить все(1Тб) архивированные данные, производить расчёт параметров и заносить в базу данных в течение 1-3 суток. 
Приветствуется использование Amazon DynamoDB, Azure Table Storage и подобных решений. 

Пишите ваши предложения, желательно развернуто, чтобы я мог понять насколько вы заинтересованы и готовы сотрудничать.
Разделы:
Проект
Опубликован:
11.02.2019 | 16:09 [последние изменения: 11.02.2019 | 16:18]

Теги: Программисты удаленно, нужен программист, ищу программиста, резюме программиста, требуется база данных