Есть тематика сайта, по которой надо разово спарсить по всему миру список сайтов с посещаемостью от 1к в сутки, для этого надо будет в автоматическом режиме задавать запросы в:
- google translate (чтобы переводить наши запросы в автоматическом режиме. условно, на испанский, французский и тд. всего около 20 языков и по 10 запросов на каждом языке)
- google (чтобы находить топ50 сайтов в этом гео по заданным запросам)
- similarweb (или похожие сервисы, чтобы понимать посещаемость)
- 2ip.ru (или похожие сервисы, чтобы проверить в каком гео стоит сервер)
Возможно, по ходу движения будут возникать проблемы с автоматическими обращениями к сервисам, для этого должно быть понимание, как обходить это с помощью прокси и как автоматом обходить капчу.
Всего ожидаю, что в такой базе по итогу будет 500-1000 сайтов из разных гео с посещаемостью >1000 уников в сутки. Таблица на выходе должна содержать гео сайта, урл, посещаемость
Заинтересованным исполнителям ТЗ вышлю в личных сообщениях.
Опубликован 05.11.2018 в 12:03 Последнее изменение: 05.11.2018 в 12:05