Цель задачи:
Необходимо найти или предоставить максимально быстрый способ получения (парсинга) новых постов из X (Twitter) по заданным ключевым словам в реальном времени.
Важные требования:
-Скорость: Пост должен поступать к нам в течение 200-500 мс с момента его публикации.
-Точность: Необходима фильтрация по ключевым словам (обязательное требование). Поиск по регулярным выражениям и отображение числа подписчиков – будет плюсом.
-Дополнительно: Для каждого поста желательно получать количество подписчиков автора.
-Стабильность: Мы не должны показывать стабильные результаты вне зависимости от нагрузки
Наш идеал (референс):
Система, максимально приближенная к тому, как работает X Live Search:
Варианты решений:
-Готовые платные API или сервисы, предоставляющие такие данные с реальной скоростью (просим предоставить примеры и демо-доступ/доказательство заявленной скорости).
-Официальный или неофициальный API Twitter/X (если есть рабочая схема, нужен пример реализации и обоснование скорости).
-Веб-сокет/stream-решение, которое позволяет получать посты напрямую (оптимально, если доступно).
Что важно:
-Мы ищем готовое решение или доказанную рабочую схему, которая уже используется или была реализована ранее.
-Предложения "сделать с нуля", "экспериментировать", "подобрать способ методом проб и ошибок" нас не интересуют.
-Все варианты должны быть подтверждены реальным рабочим примером и аргументацией, что скорость получения данных соответствует нашему требованию.
Почему так – наш опыт показывает, что большинство платных сервисов или стандартных решений не отвечают по скорости или качеству требованиям.
Рассматриваем только те решения, где есть фактическое доказательство соответствия критериям.
В ответе:
-Краткое описание вашего способа.
-Пример/демо или ссылка на реализованный аналог (не описание "как сделать", а что уже есть).
-Оценка реальной скорости получения поста.