Разработали систему автоматизированного мониторинга упоминаний бренда и анализа информационного поля в режиме реального времени.
Задача — автоматически собирать и обрабатывать большой поток сообщений из социальных сетей, находить в нём новые темы и инфоповоды и определять тональность публикаций по отношению к заданному объекту.
Что реализовали:
— сбор, хранение и обработку больших объёмов текстовых данных;
— автоматическую кластеризацию сообщений;
— выявление новых тем и инфоповодов в потоке публикаций;
— определение тональности сообщений;
— обработку данных в режиме реального времени;
— backend-сервисы и пайплайны для асинхронной обработки данных;
— интеграцию NLP/ML-моделей в промышленный сервис.
Основная сложность проекта — обеспечить поиск связанных публикаций и новых тем не только по отдельным ключевым словам, а с учётом смысла и контекста сообщений, сохраняя возможность обработки постоянно поступающих данных.
В результате система автоматически превращает большой поток неструктурированных публикаций в структурированную информацию о темах, инфоповодах и тональности медиаполя.