Заказчик поставил задачу написать скрипт на PHP-CLI для парсинга данных о фильмах, знаменитостях и персонажах из сайта базы данных медиа IMDB в большом количестве. Полученные данные сохранить в БД под управлением MySQL. После этого по имеющимся прототипам и самописному движку построить шаблон сайта и применить вёрстку по макетам.
Основными моментами для реализации этой задачи были:
- написание многопоточного консольного приложения на PHP
- использование нескольких IP адресов для отправки запросов на сайт imdb.com
- обход блокировок со стороны imdb.com
- грамотный парсинг данных с учётом изотропности страниц
- работа с чужим самописным движком, сохранение семантики и синтаксиса кода
- построение реляционной базы данных, грамотное составление структуры таблиц
- построение структуры шаблонов придерживаясь стандартов консорциума W3C
- грамотное создание моделей работы с базой данных
- оптимизация запросов к базе данных
- кроссбраузерная адаптивная вёрстка
Проект был сдан вовремя. Заказчик остался доволен. По сегодняшний день продолжаем с ним работать.