Парсер Google и Yandex (Python, Selenium, SQL)

Бюджет: по договоренности
Заказчик выбрал исполнителя:
Сергей Кузьмин  
Добрый день! Нужно сделать скрипт для парсинга выдачи Google и Яндекс (только первая страница).
Основные функции:

1) Python + Selenium (+Grid) + MySQL (поднять на Google Cloud: Compute Engine + Cloud SQL)
2) Поддержка прокси (IPv4 и IPv6)
3) Работа через Selenium Grid
4) Обработка большого количества запросов «за раз» – до 100.
5) Selenium: работа через PhantomJS и FireFox
6) Парсинг результатов выдачи (реклама + поиск) и запись результатов в СУБД
7) Обработка ошибок и логгирование
8) Краткие инструкции для воспроизведения «установки»

В первую очередь ищу человеку уже имевшего опыт работы с Selenium и Google Cloud (это позволит сэкономить время на чтении документации и т.п.)

Денюжка обсуждается, так что предлагайте.

Платформа не обсуждается (т.е. только python, google cloud, selenium).

Никаких интерфейсов, просто скрипт выполняющий свою работу (выдал прокси, сделал запрос, спарсил, положил в БД), собственно единственная сложность: настроить Selenium Grid и правильно обрабатывать ошибки.

Более подробное описание внутри.
Опубликован 29.04.2017 в 14:09 Последнее изменение: 29.04.2017 в 14:18

Выберите способ верификации:

Обновите страницу после прохождения верификации.