Автоматическая обработка, объединение и подготовка больших массивов данных в Excel, CSV и TXT с помощью Python.
Работаю в том числе с очень крупными таблицами и наборами файлов. На практике обрабатывались массивы объёмом до 20 млн ячеек: объединение файлов, фильтрация строк, очистка данных, удаление дублей, нормализация структуры, преобразование форматов, сортировка, расчёты и формирование итоговых таблиц.
Типовой процесс:
• загрузка десятков и сотен исходных файлов;
• проверка и приведение столбцов к единой структуре;
• очистка и фильтрация данных;
• поиск и удаление дублей;
• объединение больших массивов;
• автоматические расчёты и статистика;
• формирование готового Excel-файла или нескольких итоговых таблиц.
Для обработки использую Python, pandas, openpyxl и другие инструменты в зависимости от объёма и структуры данных.
Такой подход позволяет заменить многочасовую или многодневную ручную работу автоматической обработкой и значительно снизить вероятность ошибок.
В портфолио используются синтетические демонстрационные данные. Реальные данные заказчиков не публикуются.