Бесплатно зарегистрируйся и получай уведомления о новых проектах по работе

Нужно сохранить большой объем данных пользователей mail.ru

8
Заказчик
Отзывы фрилансеров: + 33 - 0
Зарегистрирован на сайте 16 лет и 1 месяц
Бюджет: 3000 руб
32.43 $ — 30.33 €
Нужно написать скрипт для извлечения большого числа данных с сервисов mail.ru со страниц на которых много всяких данных (примеры что откуда брать – покажу). 

Писать систему можно на разных языках, но думаю наиболее подходящий Python (лучше 3й, а не 2й) или Java. PHP не очень подходит для многопоточности
которую нужно будет реализовать – но в целом если Вы что-то похожее делали на PHP можно и на нем.. 

1) Нужно реализовать систему прохода по сайту для сбора ссылок на страницы с которых будут потом уже браться данные.
2) Нужно извлечь и сохранить в базу все данные о пользователе (нескольких десятков полей с данными + фотки) – все данные 
хранятся в открытом виде, но часть данных доступна после авторизации (нужна поддержка авторизации).
3) Возможно потребуется поддержка прокси, так как наверняка там есть защита от сбора данных в пакетном режиме.

Для тестировния будет достаточно работы скрипта на извлечение и сохранение в базу данных 20-30 тыс. пользователей. 
Но нужно писать скрипт так, чтобы он работал и с 1 млн.+ данных пользователей.

Бюджет на проект для начала 3 тыс. руб – за эти деньги я хочу получить полностью рабочую систему с собранными в таблицу
данными 20-30 тыс. пользователей (чтобы результат был нагляден). Нужно чтобы работало стабильно. 

В дальнейшем бюджет может быть увеличен при реализации дополнительного функционала. 

Планируется запускать скрипт на выделенном сервере, но тестировать будем на небольшом VPS (виртуальном сервере). 


Оплата поэтапно.

Важно чтобы Вы были на связи как можно чаще и желательно каждый день.
Работать над проектом нужно хотя бы по 5-6 часов в день, можно больше.

Данные пользователей НЕ будут использоваться в незаконных целях. Спам пользователям рассылаться НЕ будет.
Разделы:
Опубликован:
23.04.2011 | 09:07

Теги: нужен программист, резюме программиста, требуется программист, резюме веб программиста

Сведения об ООО «Ваан» внесены в реестр аккредитованных организаций, осуществляющих деятельность в области информационных технологий. ООО «Ваан» осуществляет деятельность, связанную с использованием информационных технологий, по разработке компьютерного программного обеспечения, предоставлению доступа к программе для ЭВМ и является правообладателем программы для ЭВМ «Платформа FL.ru (версия 2.0)».