Необходимо написать php скрипт добавления в базу.

По адресу localhost/add.php



 

В поле url db копируются 1-1000000; 1 вырезает всё кроме домена + чистит от дублей;

После добавляет в бд mysql в таблицу url_temp

id url date_add referer_add

Другой скрипт запускается по крону каждые 5 минут и смотри запушена ли его копия если да то выключается. Если копии нет и в url_temp есть записи берёт от туда url и смотрит нет ли этого урла в таблице url_db если нет то добавляет. 





Задача писать скрипт добавления url в базу без дублей и не ложа на 100%. Скрипт add.php должен выполнятся не более 5 мин. не должен съедать весь цп или оперативку, также не должен плодить большое количество соединений к бд.

Железа vps c 1 и 1 gb оперативки 

П.с. в url_db более 7 000 000 записей.