Нужно написать парсер новых новостей с сайта
(раздел 전체 или all, если у вас английская версия), так чтобы обнаружение новости занимало не более 1-1.5 секунды после ее публикации (объясню ниже подробнее)
Важно! У меня уже есть рабочий парсер (мне не нужно писать новый), но он обнаруживает новости долго (от 3 и более секунд). Основная задача написать именно РЕШЕНИЕ которое будет любым способом получать новость почти мгновенно (не более 1-1.5 секунды с момента публикации, см. ниже, как выглядит новая новость).
НЕВЕРОЯТНО ВАЖНОЕ УТОЧНЕНИЕ: я уже сделал свой скрапер с обходом кеша (каждый запрос имеет статус MISS), мне не нужен новый который работает также как и мой, проблема не в скорости самого запроса, проблема заключается в том, что даже при статусе MISS сервер отдает новые данные через 3+ секунды после фактической публикации на сайте, что является критически огромной задержкой, если вы действительно с таким сталкивались и решали, то пишите мне
Если ваше решение парсит дольше этого времени, к сожалению, я не буду вам платить, плачу только за решение, которое парсит в указанном промежутке
Теперь подробнее, про новости, новость в api выглядит примерно так:
{
"listed_at": "2025-07-25T13:52:21+09:00",
"first_listed_at": "2025-07-25T13:52:21+09:00",
"id": 5365,
"title": "new title",
"category": "all",
},
то есть задача, допустим для данной новости обнаружить ее не позднее чем first_listed_at + 1.5 секунды или не позднее чем в 2025-07-25T13:52:22.5+09:00
По моим личным наблюдениям, проблема скорее всего заключается в кешировании cloudflare на стороне сайта