Нужна консультация специалиста по базам данных (PostgreSQL, ClickHouse, Redis). Желательно со знанием Python (бэкенд написан на Python, фронтенд Quasar VueJS).
Есть SAAS сервис аналитики маркетплейсов (аналог mpstats.io) с информацией о товарах в категориях маркетплейса WildBerries, брендах и товарах в брендах, информацией о товарах (продажи за каждый день, постоянные характеристики – название, бренд товара, поставщик, цвет и прочее).
Примерно 2 тыс. категорий, 150 тыс. брендов, 30 млн. товаров. Данные ежедневно собираются парсером.
Сервис фактически набор дашбордов и таблиц с расчетом разных показателей по большим данным (особенно много товаров). Большое число запросов с группировкой, агрегацией, сортировкой, фильтрацией. Например: сумма всех продаж в категории, продажи конкретных товаров в категории за 2 недели с сортировкой по убыванию числа продаж, продажи товаров агрегированные по брендам с сортировкой по убыванию числа продаж товаров конкретного бренда и прочее.
Делали сервис с не полным знанием в области БД. Сейчас все данные хранятся в БД PostgreSQL. Отчеты, диаграммы и дашборды строятся очень долго (запросы к БД долго выполняются).
Можем скинуть более подробное описание самого сервиса и схемы данных для аналитики.
Цели консультации:
понять какие еще БД использовать (может быть ClickHouse для каких то данных) и какие данные там хранить
понять хотя бы в общих чертах какие части бэкенд сервиса нужно переписать
подсказать по кластерам и распределению бд по серверам (имеем далеко не 1 собственный сервер, готовы покупать еще при необходимости. Некоторые сервера имеют 1ТБ оперативки, 64 ядра CPU, 3.2 TB Nvme)
какие данные кэшировать и как именно (Redis или как то еще)?
Порядок работы и оплаты:
Согласовываем с исполнителем цену (строго в рублях) и сроки. Если условия устраивают и меня и вас – работаем!
Работаю строго без предоплат!
На первом этапе нужна именно консультация. В дальнейшем возможно договоримся о каких то этапах реализации.
Опубликован 29.10.2021 в 16:30