OpenCart - Загрузка 8500 товаров, 250 категорий, 13000 картинок

   3000 ₽ , 3 дня

Просмотров: 1
Дата добавления: 12.05.12 в 08:26

Задача: есть пропарсенный сайт. Парсер собрал данные по товарам в следующем порядке: Категория, цена, описание, картинка 1, картинка 2, картинка 3, название.Требуется всё это переместить в подготовленный ocStore (заказчик дал полный доступ)
Для начала преобразовал таблицу в более приятный вид. Каждой категории пришлось в ручную  делать свой уникальный ID; далее каждому товару свой уникальный ID, добавил дополнительные полезные поля (такие как keywords, description, и другие) Автоматизировал запросы для mysql – всего было затронуто около 10 таблиц базы данных (товары не только вставляются в одну таблицу, но и имеют другие таблицы без которых база работать не будет), раскидал все категории в нужном порядке (две основные категории и много дочерних), прописал каждому товару картинки 1-3 штуки.
Далее начал смотреть описание товаров – как оказалось пропарсенно они были очень плохо, с множеством ошибок и спецсимволов (которые sql не вытерпел бы). На исправление ушло не мало времени. Многие ошибки парсинга пришлось исправлять вручную (местами влез даже обычный css/html код). Добавил html абзацы ко всем описаниям, где была возможность. 
Когда всё описание было исправлено выяснилось, что mysql на сервере (а он кстати достаточно хорош) не выдерживает более 500 запросов за раз – тут была проблема и в конфиге sql, и просто в объеме данных. Пришлось делить все товары на группу по 100-500 штук (иногда меньше, так как описания были маленькими книгами).