Задача: Реализовать высокоэффективный парсер, способный справляться с большими объемами данных при минимальных затратах. Процесс: Были развернуты несколько серверов на базе Ubuntu, на которых успешно функционируют несколько парсеров, реализованных на микросервисной архитектуре. Это позволяет эффективно управлять процессами сериализации, форматирования, классификации и записи данных. Технологии: - Apache Kafka - брокер сообщений. необходимый связующий элемент микросервисной архитектуры, - Postgresql - реляционная база данных. основное хранилище данных. - ClickHouse - бд для аналитики данных. - Redis - для хранения кеш-данных.