АСНА (ASNA) парсер наличия товаров, импорт 10 миллионов позиций из CSV файлов

Ссылка на работу
image
Парсер авторизуется по sFTP на сервере торговой сети и скачивает все файлы в CSV формате. Скаченные данные импортируются в MySQL базу данных с использованием MySQLi. Для создания таблиц в базе данных используется Doctrine XML. Добавление данных идет по несколько едениц товара за одина запрос к БД. Парсер написан с использованием ООП, использует Composer. Отдельные компоненты загружаются через Service Locator. Для вывода отладочной информации используется PSR совместимый логгер. Настройки находятся в .env файле. Парсер обрабатывает около 10 миллионов строк, из более чем 2500 файлов, более 500 мегабайтов объемом примерно за 10-15 минут, в зависимости от производительности сервера и ширины интернет-канала.
https://asna.ru