Решил благотовторительностью заняться и написать бесплатный сервис для людей по сбору номеров, сначала из вконтакте, потом авито и авто ру.
Нанчем с vk.com
Сейчас есть 2 программы на компьютер:
1) парсер вконтакте. многопоточная программа которая по критериям: возраст, пол, город. так же сбор URL групп и парсинг людей из групп очень быстро собирает номера телефонов пользователей.
2) в парсере вк есть ф-ия по критериям город собрать телефоны. но девушка из Украины может написать что она Москвичка, а это не так.
Поэтому, разработали программу которая по диапазону оператора сотовой связи определяет город. Программа так же есть для стационарного компьютера. Задача перевести всю логику программы и все 65 000 диапазонов номеров в web-версию.
Задача учесть при переводе в веб-версию, то что одновременно софтом, по скольку он будет бесплатным могут пользоваться 20 и 100 человек. Поэтому важно учесть нагрузки.
Логика программы парсера вконтакте:
В программе используется три метода vk api:
groups.getById – получить информацию о группе (можно и без него реализовать)
groups.getMembers – получить всю информацию о пользователях
groups.search – поиск групп по ключам
Думаю, что реализация, основанная на этих методах, не будет сложной.
в аргументе "fields" записать "contacts", тогда придет информация о телефонах.
Всё подробно описано тут.
Логика программы по сортировке телефонных номеров:
Как будет работать сервис?
1. Пользователь зашел. Выбирает спарсить vk.com
- выставляет критерии.
- выбирает что спарсить: группу, встречу, мероприятие
- задает ключевые слова для парсинга групп
- указывает свой e-mail (по скольку процесс парсинга при многопотоке порой может занимать всю ночь, в веб интерфейсе необходимо показывать статус: процент на сколько готово или зелену шкалу. А по завершению выдавать статус готово и высылать базу на почту).
- в письме так же написан урл на который необходимо зайти
2. Пользователь зашел по ссылке и вставляет базу через кнопку обзор.
Затем база прогоняется по алгоритму описанному
и затем скрипт предлагает выбрать те города которые нужны.
После выбора формирует отдельные файлы с выбранными городами и областями и предлагает скачать.
Так же формируется в файл с неопознанными телефонами который так же можно скачать и файл с прямыми номерами, если кому нужно будет.
В итоге: файлы городов, файлы прямых номеров, файлы чьи диапазоны неопознаны.
Программа предлагает добавить по желанию: +7, просто 7 или без 7 в начале базы.
Человек получает базу и все счастливы!
Все программы как работают могу показать по тим виверу.
Связь со мной только по Skype: i-skyline
от вас цена, сроки и уточняющие вопросы
Критерий выбора исполнителя это внимательность! Поэтому дебилов которые отписываются в этой ветки а не пишут в скайп, сразу отсекаю.