По договоренности
Описание задачи.
Исходные данные:
1. Есть несколько десятков первичных источников выгрузок данных (ссылок) в формате XML1.0/YML. Набор полей (тегов) в каждой выгрузке фиксированый. Количество записей в отдельной выгрузке может достигать больше миллиона. Объем каждого файла может достигать более 1 ГБ.
2. Есть формализованный формат XML 2.0 (набор полей-тегов и их последовательность фиксированы), в котором необходимо предоставить данные для последующей выгрузке данных для другого источника. Выходные данные должны быть ограничены по числу записей, т.е. выходные файлы должны быть разбиты на соответствующее количество файлов.
3. Необходимо конвертировать данные из п.1 в файлы формата согл. п.2. В том числе требуется вычислять контрольные суммы (MD5) для файлов, ссылки на которые преобразуются из п.1 в п.2. Контрольные суммы также публикуются в выходных файлах.
При этом, необходимо иметь возможность добавлять произвольные источники первичных данных, фиксировать соответствия полей (тегов).
В идеале, схема должна работать следующим образом:
1. В установленное время (по расписанию) происходит автоматическое получение (загрузка) первичных данных из указанных источников. Возможно с использованием API.
2. Производится конвертация в нужный формат на основании формализованной схемы конвертации (соответствия полей), при этом происходит вычисление контрольной суммы (MD5) для файлов, ссылки на которые есть в структуре данных. Также добавляются необходимые блоки данных (теги). Выходные данные сохраняются в файлы необходимого объема и выгружаются по FTP.
3. В случае необходимости производится добавление/изменение источников. Указывается ссылка на источник. Составляется и прописывается схема конвертации (схема соответствия полей-тегов), указываются параметры выходных файлов (объем данных в каждом файле), схема присвоения имен файлов, адрес для загрузки файла.
Нужен user-friendly интерфейс.
Ждем предложений с указанием предполагаемых сроков выполнения и стоимости.