Доработать механизм парсинга данных

Есть парсер на питоне, он работает, но забирает не все товары с целевого сайта, проблема с перебором фильтра и последующим парсингом урлов, парсер складывает их в json

Сам парсер видит 480к урлов но не собирает их, обрывается на каком-то моменте 
в парсер встроен механизм забора фото с целевого сайта, этот этот функционал можно выключить временно

Парсер переписывать не требуется, задача довести до ума существующий.

сам парсер дам в личку

результат эти самые 480к в json