Twitter краулер для мониторинга большого объема твитов в реальном времени и последующей аггрегации статистики по использованию ключевых слов в твитах.
Требования:
- Мониторинг и аггрегация твитов, содержащих заданные ключевые слова
- Максимальный охват твитов с заданными ключевыми словами (в идеале сбор всех публикуемых твитов на Twitter, содержащих указанные ключевые слова)
- Генерация статистики по демографии, геолокации, часовым поясам и т.д.
Решение:
- C# Windows сервис с использованием библиотеки C# .NET LINQ to Twitter и Twitter Streaming API для сбора твитов в реальном времени
- БД MSSQL 2008 для хранения данных