Добрый вечер. Нужен парсинг сайта.
ссылка на сайт:
Что требуется сделать:
URL cайта построен по принципу:
/ru/moscow/pomoshh_v_obuchenii?page=2
ru – Россия
moscow – город
page – номер сторонницы
pomoshh_v_obuchenii- рублика
От Вас требуется:
1. Собрать все города, к примеру: /ru/moscow , /ru/novosibirsk и т.д.
ссылки на них есть в верхнем правом углу. Это можно сделать и без паркинга, просто очистив HTML :)
2. Собрать все ссылки на компании в рубрике "помощь в обучении". Можно методом перебора page=2 , page=3 и т.д, больше 16 станицы я не встречал.
3. Отпарсить страницы с контактными данными компании и записать их в БД (Базу Данных).
Все!
Единственное требование, язык программирования PHP
Результат работы:
1. PHP скрипт, который записывает в БД данные.
2. Записи в БД в таблицу с колонками по всем городам:
Город / Название / Рубрики / Адрес / URL сайта / VKontakte / Facebook / Instagram / EMail
Внимание: полей EMail мной было обнаружено, что может быть несколько, записывать все через пробел, тоже самое к VKontakte и другим контактным данным.
Все остальное на ваше усмотрение.
На мой взгляд, правильнее будет разбить задание на этапы, записывать в БД URL страниц городов по запросу "помощь в обучении", потом URL компаний и в финале записывать контакты.
Обязательно указывайте цену.
Это все задание, больше от Вас ничего не требуется.