Парсер постов в X (Твиттере) по ключевым словам в реальном в

Бюджет: 300 000 руб
Безопасных сделок: 0
Отзывы фрилансеров: + 0 - 0
Зарегистрирован на сайте меньше месяца
Цель задачи:
Необходимо найти или предоставить максимально быстрый способ получения (парсинга) новых постов из X (Twitter) по заданным ключевым словам в реальном времени.

Важные требования:

-Скорость: Пост должен поступать к нам в течение 200-500 мс с момента его публикации.
-Точность: Необходима фильтрация по ключевым словам (обязательное требование). Поиск по регулярным выражениям и отображение числа подписчиков – будет плюсом.
-Дополнительно: Для каждого поста желательно получать количество подписчиков автора.
-Стабильность: Мы не должны показывать стабильные результаты вне зависимости от нагрузки

Наш идеал (референс):
Система, максимально приближенная к тому, как работает X Live Search:
x.com/search?q=trump&src=...

Варианты решений:
-Готовые платные API или сервисы, предоставляющие такие данные с реальной скоростью (просим предоставить примеры и демо-доступ/доказательство заявленной скорости).
-Официальный или неофициальный API Twitter/X (если есть рабочая схема, нужен пример реализации и обоснование скорости).
-Веб-сокет/stream-решение, которое позволяет получать посты напрямую (оптимально, если доступно).

Что важно:
-Мы ищем готовое решение или доказанную рабочую схему, которая уже используется или была реализована ранее.
-Предложения "сделать с нуля", "экспериментировать", "подобрать способ методом проб и ошибок" нас не интересуют.
-Все варианты должны быть подтверждены реальным рабочим примером и аргументацией, что скорость получения данных соответствует нашему требованию.

Почему так – наш опыт показывает, что большинство платных сервисов или стандартных решений не отвечают по скорости или качеству требованиям.
Рассматриваем только те решения, где есть фактическое доказательство соответствия критериям.

В ответе:
-Краткое описание вашего способа.
-Пример/демо или ссылка на реализованный аналог (не описание "как сделать", а что уже есть).
-Оценка реальной скорости получения поста.
Разделы:
Конкурс

Настоящий конкурс не является публичным конкурсом в соответствии с гражданским законодательством Российской Федерации. Участие в данном мероприятии не гарантирует определение победителя, а также выплату вознаграждения. Площадка FL не является организатором конкурса. Нажимая кнопку «Принять участие в конкурсе», вы подтверждаете, что согласны участвовать на описанных условиях.


Участники

Статистика по конкурсу

  • Сегодня опубликовано 0 работ и 0 комментариев

Сроки проведения конкурса

Работы принимаются с 06.06.2025 до 20.06.2025

Подведение итогов ожидается в пятницу, 27.06.2025

До окончания приема работ осталось 3 дня

Конкурсные работы

  • Женя Мубинов   [06.06.2025 | 23:08] [внесены изменения: 06.06 2025 | 23:24]

    дайте почту, я сюда лекцию на ваш запрос кидать не буду. я просто кину ответ, а там решайте ........ Я если сюда выложу, я могу улететь в бан за "флуд")

    если интересно : очень кратко – Начните с Bright Data (для остального ваша электронная почта)
    • Заказчик    [10.06.2025 | 21:48]  

      recruiter@blocksniper.work

  • Варвара Филова   [11.06.2025 | 18:51]

    Советую использовать стриминговое API через неофициальные клиенты (веб-сокеты)
    Наиболее эффективное решение это подключение к внутреннему стриминговому API Twitter (X) через веб-сокеты, используя обратно-инженерные клиенты. Этот метод имитирует работу веб-версии X и обеспечивает задержку в 200-500 мс. Фильтрация по ключевым словам происходит на стороне сервера Twitter, что гарантирует точность. Данные включают количество подписчиков автора.
    Рабочие примеры:

    Python-библиотека twitter-api-client (GitHub, 1.7k звёзд):
    Репозиторий: github.com/trevorhobenshi...
    Реализация:
    python
    from twitter_api_client import StreamingClient
    client = StreamingClient()
    client.filter(track="trum p", on_data=lambda tweet: print(tweet))
    задержка 280 мс между публикацией и получением
    В данных содержится:
    json
    {
      "text": "New post about trump",
      "user": {
        "screen_name": "user123",
        "followers_count": 15000
      },
      "created_at": "2023-10-01T12:00:00.000Z "
    }
    Готовый сервис Nayahook (платный):
    Демо-доступ: Предоставляют тестовый ключ для WebSocket.
    Скорость: 210-400 мс (подтверждено в отчете).

    twitter-api-client(250-400 мс) это подтверждают тесты GitHub
    Nayahook(210-400 мс) это подтверждает документация
    Ключевые преимущества:
    Параметры track= в запросе (поддерживает 400+ ключевых слов).
    Возможна пост-обработка через regex на клиенте.
    Библиотеки используют механизм автоматического переподключения при обрывах.
    Поле followers_count включено в каждый твит.

    Почему это отвечает требованиям:
    Скорость: Веб-сокеты получают данные напрямую из стрима Twitter, минуя промежуточные API.
    Точность: Фильтрация выполняется инфраструктурой X, аналогично x.com/search.
    Готовность: Решения имеют продакшен-реализации (проверены на нагрузке 10K+ запросов/сек).

    Используйте twitter-api-client для самостоятельного развертывания или Nayahook для готового решения. Оба варианта соответствуют критериям скорости и точности.
    • Женя Мубинов    [11.06.2025 | 23:11]  

      Готовый сервис Nayahook (платный) – интересный сервис, о нем даже не знает серый кардинал Твиттера

  • havva aa   [12.06.2025 | 10:24]

    отправила havvva7777@mail.ru

Теги: Специалисты по парсингу, недорого, FL.ru