Роман Корчигин [took]
took
Роман Корчигин [took]
На сайте 13 лет и 1 месяц (заходил 1 год назад)
+ 14  0  - 0
1
592.29
Рейтинг592.29
592.29
Отзывы+ 14  0  - 0
+ 14  0  - 0
Все (1)       Проекты (1)        Вакансии (0)       Конкурсы (0)
Опубликовать проект
08 Сентября 2018
Жду предложения цены, сроков, ссылку на подобные проекты в вашем портфолио – в комментарии к этому проекту.
Задача следующая:
Проверка в гугле на индекс домена и его нахождение в топ10 по определенному запросу
1) есть список доменов около 3000шт
2) требуется проверить их все в гугле на предмет нахождения в топ10 по примерно такому запросу www.google.com/search?saf...
3) если этот домен присутствует в выдаче – кладем в good.txt и по окончании работы скрипта выводим списком на страницу, чтобы можно было скопировать в буфер обмена
4) работа через прокси. прокси берутся по урлу через апи.
5) ограничение потоков через прокси – 300 потоков.
6) если какой то прокси мертв(случается) и не получилось получить ответ от гугла, либо гугл запросил капчу, этот запрос все равно необходимо обработать, просто через другой прокси.
7) если таки необработанные домены останутся, надо их записать в файл notdone.txt чтобы понимать масштаб необработанных запросов
8) если домен не был в выдаче, записать его в файл bad.txt
9) исполнение на сервере, файлы перезаписываем при каждом старте, исполнение в фоне, но должно быть отображение процесса в браузере
10) изначальная загрузка списка доменов через интерфейс скрипта в браузере

Прошло времени с момента публикации: 1 год 1 месяц 13 дней 9 часов 19 минут
Раздел: Программирование / Веб-программирование