Предлагаю проект для программиста с большим опытом написания парсеров.
Исходные данные:
1. файл .sql с готовым списком url страниц, в коде которых парсер должен искать данные для парсинга
2. файл .sql с минус-словами, если в коде есть минус-слово – то парсер не парсит данные с данного url
3. файл .sql с плюс-словами, если в коде есть плюс-слово – то парсер парсит данные с данного url
4. список из 10 условий какой текст парсер должен парсить из кода url
Куда парсить данные:
в файл .sql записывается url и найденный текст
Условия работы парсера
1. Устойчивость – должен работать без остановок и ошибок, исключения – падение сервера, ручная остановка.
2. Сохранение промежуточных данных – данные должны записываться прямо в процессе работы парсера, чтобы после ручной или вынужденной остановки парсера, парсинг был продолжен с момента остановки.
3. Расположение парсера – VPS (или локальный компьютер)
4. Вывод простой панели управления на страницу: кнопки СТАРТ СТОП ПРОДОЛЖИТЬ УДАЛИТЬ. 30 последних строк результатов парсинга.
5. Скорость работы парсера – один поток, не более 5 секунд на одну страницу с кодом до 200 кб
Упрощения для работы
1. Согласно условиям парсится только текст без картинок
2. Парсер не должен вести поиск страниц – есть готовый список.
3. На страницах нет капчи
Подробное техзадание будет прилагаться.
Опубликован 06.10.2021 в 15:42
Заказ находится в архиве