Импорт и обновление гигантской базы данных

Бюджет: 2 500 руб
32.84 $ – 28.77 €
Заказчик выбрал исполнителя:
Сергей Филиппенко  
Задача номер 1.

Дано:

Есть База данных в виде csv-файла объемом 2Gb (два гигабайта)

База обновляется ежедневно и ежедневно выкладывается на определенный URL

Нужно организовать ежедневный залив этой базы данных в MySQL-базу на сервере.

То есть нужно написать некий скрипт, который берет этот csv-файл с определенного URL, скачивает его и импортирует его в базу.

Предполагается, что данный скрипт запускается раз в сутки по Крону и делает свою работу.

Как вариант решения задачи – делить csv-файл на 20-30 частей по строкам и импортировать последовательно каждую часть.

В дампе строки дописываются и строки пропадают также строки могут меняться – короче все может быть поэтому чем сравнивать по-моему проще убить старую версию и залить новую

Задача 2.

К этой базе нужно прикрутить "человеческий" веб-интерфейс отображения по фильтрам – регион, город, дата, сумма, и еще около 5 полей разных.

Так чтобы юзер мог зайти и отфильтровать и отобразить в виде таблицы карточки из базы по гео, дате, сумма от и до и тд. вбивая параметры фильтра в поля

С возможностью скачать полученную выборку в виде csv-файла

Задача 3.

Юзер может "подписаться" (на электронную почту) на определенные обновления определенной выборки из базы, задав параметры этой выборки в своей "подписке" (профиле) и тогда второй скрипт запускаемый по Крону высылает этому пользователю некое письмо с этой выборкой и прикрепленным csv-файлом новых карточек которые появились в базе со времени последнего обновления базы. Сервер рассылок и шаблон письма имеется в наличии.

Прикрепляю к проекту небольшой кусок из этой базы данных.

Пишем не под винду естественно

ПРОСЬБА: Напишите Вашу цену – отдельно за каждый этап работы – за задачу 1, задачу 2 и задачу 3 отдельно.
Опубликован 07.01.2020 в 15:21 Последнее изменение: 07.01.2020 в 19:56

Выберите способ верификации:

Обновите страницу после прохождения верификации.