необходимо написать серверный парсер данных о судах с сайта marinetraffic.com, данные сохранить в серверной БД (sqlite). Парсер должен апдейтить данные раз в 5 минут по нескольким заданным квадратам, например все Средиземное море и побережье США. В парсере должны быть правильно выставлены referrer и cookie, что бы не попасть на блокировку и обойтись без проксей. Парсер запустить и протестировать на сайте заказчика (vps).
Предоплата, яд или банк платеж. Если в проекте возникнут подводные камни, оплата будет увеличена. Новичков просьба не беспокоить работа возможна только в случае имеющегося портфолио.
данные для парсинга
1. "id" если на marinetraffic у каждого судна есть идентификатор, присваем его. Если нет, то нумеруем сами в процессе парсинга, что бы идентифицировать и не "потерять" каждое судно
2. "lat","lng" координаты меркатор когда «глобус растягиваем на стену» и из шарообразной формы Земли получаем плоскую карту мира), т.е. сужение Земли к полюсам никак не учитывается
3. "x","y" координаты gps
4. "title" название судна
5. "inserted" время добавления точки
6. "updated" время последнего апдейта точки
7. "kind" тип судна Tug, Tanker, Cruise и т.д.
8. "Сountry" флаг судна
9. "address" = destination, название и координата в gps места прибытия
10. "comment" = ссылка на http:// с картинкой, speed, lengthxbreadth, draught. возможно, позже разнесем это поле на несколько различных параметров, пока достаточно все складывать в одну кучу
дополнительно собранные точки необходимо разгруппировать по кластерам, аналогично тому, как ведет себя сайт marinetraffic
Процедура присвоения кластеров существующим точкам:
Радиус кластера = 0.03 в координатах меркатора
Если некоторая точка находится на расстоянии <= радиуса кластера от его взвешенного центра, тогда эта точка присваивается этому кластеру. У кластера пересчитывается радиус и увеличивается число точек.
Если эта точка не может быть присвоена ни одному кластеру, тогда создается новый кластер, куда и записывается эта точка.
фактически нужно две таблицы судов и кластеров, готов за работу заплатить больше, жду вопрсоы