Сделать многопоточный парсер, который будет переходить по ссылкам, парсить там lang, charset, title, description, keywords и внешние ссылки и записывать эту информацию в БД PostgreSQL. Всё.
Только нужно будет сделать, что бы выводил статистику в web интерфейсе сколько ссылок обработал. Ссылки будет брать тоже из БД, поэтому нужно сделать что бы туда их можно было загружать csv и txt файлом. Нужно что бы он работал быстро. Можно сделать что бы можно было задавать количество потоков.
Опубликован 16.01.2025 в 08:16 Последнее изменение: 20.01.2025 в 17:36
Заказ находится в архиве