есть сайт букмейкера bet365.com (блокирован в рф,нужен впн или прокси)
при открытии сайта иниц. два wss соединения, через которые идут данные лайв (голы, пасы в футболе) 2-3 раза в секунду.
необходимо распарсивать определенные данные (штрафные) по ключевым словам (см.файл ТЗ) непрерывно и записывать в текстовый лог сразу же по образцу.
тут описание и блоки примера
И так есть сайт крупной букм.конторы bet365.com
Съем информации возможен без логина на нем.
Все что нужно мне изучил через консоль веб Гугл хрома.
При соединении с сайтом открываются 2 WSS конекта.
В одном из них 3 раза в секунду блоками по всем матчам лайв идет информация о голах, пасах,
передвижении мяча.
Пример пойманного блока пакета ниже
15384543082M1_1_3U|XY=0.68,0.4;VC=11010;|ML75846796C1U100_1_3/ML7 5846796C1U1010-
16_1_3I|ST;ID=1010-16;IT=ML75846796C1U1010-
16_1_3;LE=FK;OR=25;PD=#51'#;TE=1;TL=;XY=0.68,0.4;|
Необходимо искать вхождения именно букв LE=FK – это значит назначен штрафной удар во время
игры.
;PD=#51' это минута матча.
TE=1;TL=;XY=0.68,0.4 это координаты и кто бъет.
ML75846796 что желтое это айди матча. Идентификатор. Он нам пригодиться для соотнесения.
Соответсвенно на сайте справа вверху будет аплет работать на этих данных, показывать движения
мяча с координатами.
Но не каждый матч, половину из списка слева обычно.
Также при первой загрузке матча прилетает через ВСС блок( смотри файл new2).
Это перечнь идущих матчей на сайте.
Вхождением в него нужно искать поле лига CT=Ukraine Reserve League
далее кто с кем NA=Chernomorets Odessa Reserves v Dynamo Kiev Reserves
далее айди команды следующее вхождение
IT=ML75874216
S5 поле это время начало матча.
Ну и в итоге нужно чтобы парсер работал на автомате как браузер.
Считывал матчи, в ВСС блоках соотносил при штрафных кто бьет и сразу же писал в лог
следующую инфу
Лок.время, Лига, кто с кем, айди матча, время начала, ну и инфу из блока как есть
(OR=25;PD=#51'#;TE=1;TL=;XY=0.68,0.4;|)
Имеющиеся проблемы,
Предварительно известно, что сайт раз 5 мин сам себя перезагружает и делает новые сокет
конекты. Если парсить их долго минут 20 блокируют вообще все видимо по айпи.
Возможно нужно будет юзать прокси лист.
В коде сайта я видел настройки рефреша.
образец постоянной записи в лог
Ukraine Reserve League;Chernomorets Odessa Reserves v Dynamo Kiev Reserves;(cчет матча желательно еще забыл);ML75874216;09:00;OR=25;PD=#51'#;TE=1;TL=;XY=0.68,0.4; 20:00:00 01.10.2018