Имеется список адресов зданий по г. Москва и МО в виде таблицы формата csv/xls.
Строк примерно около 400 000. Уникальных адресов примерно 150000.
Задача – собрать для адресов приведенных в списке фотографии из БД Google.Maps, Яндекс.Карт и сервиса gdeetotdom.ru 1-5 фото из каждого источника, если есть фото.
По Яндекс/Google – собрать ПАНОРАМЫ этих же строений, если они имеются. Процент корректного ракурса должен быть не ниже 70%. Это значит, что здание видно не менее чем на 70% на сделанном скриншоте.
Разрешение изображений до 3000 пикселей по ширине/ высоте, исходные изображения, без обработки, в формате JPG.
Именование полученных изображений, через запятую надо вставить в таблицу xls в ту же строку (если их несколько), ячейку рядом с адресом. Для большей разборчивости если фотографии по нескольким источникам, разделить источники по столбцам и в них прописать имена сохраненных изображений.
Сами изображения сохранить локально в папку, с уникальными унифицированными именами (адрес объекта латиницей) и тегами (Panorama_, YM – яндекс, GM – google, GED – гдеэтотдом), форматом .jpg
Пример: Panorama_YM_Bol.Afanasievskiy_per_5.jpg
Функционал:
возможность выбрать источник прогона парсера (Яндекс, Google, гдеэтотдом или всё сразу) и тип (карты-панорамы);
кол-во изображений в ячейке к записи (по достижении которого переходим к следующей строке в списке адресов);
настройка прокси-листа (желательно, чтобы авто-поиск и вставка осуществлялась, как в
кол-во потоков (1-~);
Все имена файлов должны быть уникальны, а так же совпадать в случае, если тот же адрес будет парситься через неделю, а в БД уже есть эти изображения, то имя будет опять такое же, чтобы избежать повторного парсинга, отработка происходит локально, подстановкой нужного имени.
Возможность запуска на хостинге или через WAMP/LAMP, локально.
Возможность продолжения парсинга с остановленного места. Запоминание промежуточных результатов, с подстановкой по тому же адресу готовых результатов, если они ранее уже были получены и сохранены в БД.
Результаты парсинга паковать методом перемещения в архивы (без сжатия) zip/tar, по 500 мб., чтобы их можно было скачать с хостинга. Имена архивов – последовательные.
Пример изображений (это ЯК, не панорамы):
P.S.
1) Должна быть также возможность парсить не только по наименованиям улиц и номерам домов, но также по координатам (пара чисел).
Т.е. предусмотреть выбор.
2) Помимо парсинга фотографий, нужно парсить наименования ближайших станций метро и расстояний до них.
Считаем, что максимум объект может быть вблизи 3-х станций.
Т.е. нужно 3 пары столбцов.
а) название станции метро 1;
б) расстояние до станции метро1 (метров).
в) название станции метро 2;
г) расстояние до станции метро2 (метров).
д) название станции метро 3;
е) расстояние до станции метро3 (метров).
Столбцы 1 и 2 – обязательны. 3 – 6 – при возможности.
3) по координатам помимо заявленного спарсить еще и адрес (город, улица, номер дома – в отдельных столбцах)
Строк примерно около 400 000. Уникальных адресов примерно 150000.
Насчет условия про 70% на панораме – условие крайне желательное, но необязательное. Возможно доп. финансирование под эту функцию.
Во вложении:
- шаблон таблицы к заполнению, с примером спарсенных изображений из Яндекс.Карты.
- скрипт парсера Яндекс.Карты.
Предыдущие тендеры-наработки.:
Отвечаем в заявке: – бюджет; – сроки; методика реализации; – иные комментарии.
Оплату гарантирует мой партнер –