Парсер авторизуется по sFTP на сервере торговой сети и скачивает все файлы в CSV формате.
Скаченные данные импортируются в MySQL базу данных с использованием MySQLi.
Для создания таблиц в базе данных используется Doctrine XML.
Добавление данных идет по несколько едениц товара за одина запрос к БД.
Парсер написан с использованием ООП, использует Composer.
Отдельные компоненты загружаются через Service Locator.
Для вывода отладочной информации используется PSR совместимый логгер.
Настройки находятся в .env файле.
Парсер обрабатывает около 10 миллионов строк, из более чем 2500 файлов, более 500 мегабайтов объемом примерно за 10-15 минут, в зависимости от производительности сервера и ширины интернет-канала.
https://asna.ru