Есть рабочий парсер данных с целевого сайта (Node.js, чистый код, работает стабильно часами). Парсер собирает данные по WebSocket (поток работает стабильно, без банов) и по HTTP (полная роспись с деталями — но тут сайт жестко режет запросы).
Проблема: сайт ставит лимит на HTTP-запросы для каждой залогиненной сессии. При частых запросах (1 раз в 5 секунд) сессия быстро «выгорает» — сервер отвечает «Too many requests» на все последующие запросы этой сессии. После этого запросы с той же сессией не проходят ни через какой IP — лимит привязан к аккаунту/сессии, а не только к IP.
Попробовали:
- Ротация 40 SOCKS5-прокси + одна сессия — не помогает (лимит по сессии);
- Мультиаккаунт — сессии конфликтуют, после второго входа одна сессия аннулируется;
- Увеличение цикла до 30-60 с — данные приходят, но не realtime;
- Сокращение числа запрашиваемых матчей — лимит всё равно догоняет.
Что нужно
Обойти rate-limit (или предложить альтернативный способ) для получения полной росписи в реальном времени (обновление 1 раз в 1-5 секунд на каждый live-матч) на длинной дистанции (недели, месяцы).
Технические детали (что уже известно)
Сайт: Node.js-сервер, WebSocket ws://.../socket.io/ (engine.io v4), HTTP /en/bets/<match_id>/<team_id>/;
Авторизация: кука auth (RAW hex, 176 символов в одном из вариантов) + PHPSESSID + __ddg1_/__ddg9_ (ddos-guard cookies);
Rate-limit: сервер возвращает HTML «Too many requests. Please try again later...» (200 OK) при превышении частоты;
Авторизация привязана к куке auth — сессия не привязана жёстко к IP (подтверждено);
При 5+ «log in again» подряд парсер помечает сессию мёртвой.
Варианты, которые рассматриваем
Обход rate-limit на уровне сессии — например, эмуляция человеческого поведения (действия между запросами), другие точки входа (mobile-версия, PWA, API-эндпойнт, Telegram-бот сайта), кастомные заголовки;
Мульти-сессии на разных IP — но нужно чтобы каждая сессия жила независимо;
Альтернативные точки данных — внутренние API сайта, не публичные HTTP-пути, которые не лимитятся так жёстко;
Парсинг с «прогретого» IP — резидентный прокси, который уже «знает» сессию;
Другие способы — на ваше усмотрение.
Что предоставляем
Рабочий парсер (Node.js, полный исходный код);
Две рабочие сессии (аккаунты с депозитом);
Пул 40 SOCKS5-прокси (rotating, можно резидентные добавить);
API-ключ капча-решателя;
Техническую поддержку (доступ к сайту, объяснение форматов).
На выходе нужно:
Скрипт/модуль, который выдаёт данные в JSON-строки в stdout
Устойчивость к обрывам (WS-reconnect, retry, EPIPE)
Сессии живут хотя бы 5 дней при постоянном сборе (в идеале – не банятся вообще)
Работа 24/7 без вмешательства (неделями).
Текущий способ банит сессии примерно раз в сутки.
Опубликован 07.11.2026 в 13:36