Необходимо реализовать скрипт-парсер однотипного контента с 2-х сайтов.
Исполнение – на стороне -nix web-сервера (поэтому Python или PHP или Perl) ;
Требований по highload – нет;
Python лучше всего использовать, так там есть специальный фреймворки: scrapy, grab.
В силу особенностей функционирования сайтов парсинг должен выполняться в этапа:
1) Парсинг контента шагами по расписанию;
2) Парсинг контактных данных шагами по расписанию;
По сути 2 скрипта работающих независимо и асинхронно.
3) Третий скрипт соединяет результаты работы 2-х скриптов в результирующую таблицу
и выкладывает результат в бд (mysql).
Конкретное ТЗ передается для ознакомления потенциальному исполнителю.
РАБОТА РАЗДЕЛЕНА НА 2 задание.
Данное Задание № 1 предполагает полную реализацию работы скрипта №1
Задание №2 будет предполагать реализацию работы скрипта №2,№3
ТЗ на Задание №1 и Задание №2 – общее.
Предполагается долгосрочное сотрудничество и апдейт парсера под набор аналогичных сайтов.
Требования к соискателям:
- хороший опыт и портфолио аналогичных проектов (парсеров, грабберов);
- легкая коммуникация, пунктуальность по срокам;
- умение работать релизами (выдавать работу в виде рабочего прототипа на каждом шаге разработки,
постепенно наращивать возможности по мере процесса разработки разработки (3 шага).
Срок разработки задания №1 – 3 календарных дня
Процесс проведения и сдачи работ:
1. Разработчик-Исполнитель ведет процесс разработки на тестовом хостинге, предоставленном Заказчиком.
-nix сервер, c root-доступом.
2. Все требуемые установки необходимые для выполнения работ и работы скриптов Исполнитель выполняет самостоятельно.
3. Исполнитель указывает требования к тестовой площадке, если таковые имеются.
4. В случае несоответствия тестовой площадки требованиям (п.3), Исполнитель и Заказчик совместно предпринимают действия
по обеспечению возможности проведения работ (поиск другой площадки, установка необходимого ПО).
5. Исполнитель демонстрирует работу скрипта по ТЗ на тестовой площадке, а в случае обнаружения ошибок – проводит корректировку
кода скрипта, для их устранения.
6. Исполнитель передает все файлы: исходные, байт-код (если Python или что-то еще), конфигурационные, структуру/данные базы данных (DUMP) необходимые для работы скрипта.
7. Исполнитель дает краткую, но достаточную информацию: ведомость файлов – что есть что, требования к площадке, окружению,
перечень версий необходимого для работы ПО.
Опубликован 28.08.2015 в 11:26