Павел Классин

Сделать программу для Windows, которая будет устанавливать весь нужный мне софт для работы на компьютер за раз. Например, я открываю эту эту программу, там список, я выбираю какие мне программы нужны (галочками) нажимаю установить, и он мне устанавливает все их разом. Всё. Только нужно будет сделать, что бы я как нибудь мог добавлять туда новые программы если потребуется и удалять старые.

1. Сначала в таблицу tb_internal добавить несколько столбцов title, description, keywords, lang, charset, progress. ( progress по умолчанию 0 )

2. Бот должен будет, брать из этой же таблицы ссылки у которых "progress 0", из столбца loc, сразу же как взял ставить "progress 1" (значит что взял в работу) и парсить в них title, description, keywords, lang, charset и добавлять по столбцам которые мы создали в первом пункте, и в конце ставить "progress 2". Всё. Если какая нибудь ошибка то "progress 5" (Только нужно сделать, что бы бот брал в работу каждый раз новый хост, а один и тот же хост не чаще чем 10 сек. ), ( В столбце "loc" будут внутренние ссылки сайтов).

3. Ещё нужно чтобы бот, в то же время, парсил внешние ссылки, с этих же страниц по которым ходит. Нужно что бы он собирал ссылки .ru первого и второго уровня, (домены и поддомены) с возможностью отключить поддомены и оставить собирать только домены, обрезал у них хосты и записывал их в таблицу "tb_url" в конец столбца "url" (Ссылки третьего уровня и дальше вообще не нужны, например вот такие "НЕ ПРОПУСКАЕТ" такие не нужны)... И вот только сейчас нужно ставить "progress 2". (Что всё бот отработал все задачи).

Дополнение: К третьему заданию нужно, что бы можно было задавать, какие зоны собирать только .ru или ещё .com и .su например. БД прикрепил ниже.

Нужно что бы бот переходил по ссылке из БД, парсил там <title>, <description>, <keywords>, <lang>, <charset> этой страницы и записывал эту информацию в БД. Далее что бы парсил все внешние ссылки на этой же странице, обрезал хвосты до главной страницы и записывал её в БД. Всё... Пример другого задания для этого же бота прикреплю, можно просто изменить под это ТЗ они похожи... Только нужно будет сделать фильтр для парсинга внешних ссылкок: Для внешних ссылок нужно сделать, что бы можно было выбирать какие ссылки парсить, а какие игнорировать. Например парсить или нет ссылки второго уровня (поддомены) если нет то скрипт их игнорирует, если да то он берёт. Ещё один фильтр для внешних ссылок, это какие зоны брать, например указываешь зоны ru, su, com и он берёт только такие ссылки остальные игнорирует.

1. В БД MySQL есть список сайтов (главных страниц). Нужно сделать парсер, который будет переходить в файл /robots.txt каждого сайта поочереди, парсить ссылки sitemap и добавлять их в другой столбик этой же таблицы. У некоторых сайтов sitemap в виде файлов .tg, нужно сделать что бы такие ссылки помещал в отдельный столбик.
Сделать многопоточность.

2. Далее нужно чтобы скрипт брал из БД эти xml ссылки которые спарсил и парсил в них <loc>, <changefreq>, <lastmod>, <priority> и добавлял их в ту же таблицу в другие столбики. В разные. Только нужно что бы вся эта информация была структурирована и относилась к тому домену с которого эту всю ниформацию спарсили. И нужна многопоточность, что бы можно было задавать колличество потоков. (Если каких то значений нет в файле например <lastmod>, что бы игнорировал.)

3. Далее нужно что бы скрипт брал из БД ссылки <loc> проверял что бы эта страница не 404 или не отсутствует (если отсутствует или 404 то либо что бы сразу удалял из базы, либо что бы как то помечал, что бы потом можно было её проверить и удалить если пустая ) , потом вытаскивал из них <title> и <lang> и сохранял эту информацию в эту же БД в другие столбцы. Если там уже будет <title> и <lang> для этой ссылки, что бы заменял. Потом сделать что бы выводило статистику сколько всего хостов в базе, сколько всего страниц xml в базе и сколько всего внутренних страниц в базе. Потом сделать, что бы хосты в первый столбик, можно было загружать в базу данных прямо из браузера.

4. И нужно ещё что бы он парсил все внешние ссылки которые есть на этих <loc> страницах, обрезал хвосты до главной страницы и добавлял эти главные страницы в конец первого столбика БД где хосты. Только нужно будет сделать несколько фильтров для парсинга внешних ссылок: например что бы где то можно было указывать какие зоны внешних ссылок парсить например только зоны su или su и ua , другие зоны что бы игнорировал. И что бы не добавлялись дубли внешних ссылок если вдруг такая ссылка уже есть в базе. Ещё что бы можно было выбирать какие домены парсить, только первого уровня или второго тоже парсить. И сделать что бы где то можно было указывать какие ссылки вообще игнорировать (блек лист) например ссылки на мессенджеры, добавляешь в этот список например t.me и он их все игнорирует.

Уточнение: Скрипт нужно реализовать в Web страничке. Нужны кнопки старта и остановки работы скрипта и ход выполнения (последняя информация которая была добавлениа в БД). Нужно что бы можно было запускать скрипт с трёх и более разных компьютеров, что бы они друг с другом не конфликтовали и не обрабатывали одни и те же ссылки. БД будет на всех одна.