Парсер цен

Общее ТЗ не относящиеся к конкретному сайту.

-

Описание типа работы.

Сейчас: ищем программиста, который просто напишет парсер на сайт и получит фиксированную сумму.

-

В целом описание работы парсеров:

Парсинг – многопоточный, для увеличения скорости парсинга.
Работа парсера – 24/7. (возможно с перебоями для улучшения или чего-то еще, но в целом желательно чтобы работал постоянно).
Разные виды парсинга:
Основной – по кейвордам, и новые продукты. Может понадобится под некоторые сайты – парсинг по конкретным ссылкам (direct link) – анализ одного продукта для получения максимально скорости.
(Логику парсера будем обсуждать в ТЗ именно по сайту, а не в общем)


!Не обязательно, но очень желательно!
Полное понимание работы реквестов, возможность изучения работы реквестов сайта – для парсинга не сканированием html сайта – а реквестами, выдающие информацию о продуктах. (Опять же для ускорения процесса парсинга)
1. Обход защиты сайта от парсеров/ботов (если она имеется, есть не на всех сайтах).
2. Парсинг практически всех продуктов находящихся на сайте, а также парсинг данных продуктов.
3. Занесение в базу данных этих продуктов и их свойств.
4. Как сказано выше парсинг – многопоточный, а также цикленный, то есть после полного парсинга сайта – сразу должен пойти другой. (А еще лучше во время анлализа данных одного парсинга, уже начать другой поток)
5. Анализ данных – выявление новых продуктов, изменение свойств старых продуктов.
6. Вывод новых, или вывод изменения свойств старых продуктов в дискорд. т.е отправку на вебхук. (Если не понятно о чем идет речь > объясним, покажем, расскажем)
Также какие параметры в приоритете:
1. Подключение прокси (входит в обход защиты сайта)
2. Максимальная скорость парсинга.(нужно получать информацию как можно быстрее)

Все другие параметры и точные указания будут, когда мы будем говорить по какой-либо конкретный сайт. Это, повторюсь общий тз.
-
Дополнительные, но не обязательные требования:


Возможность программиста подобрать сервер для установки парсера, и подбор прокси.
Понимание работы сайта, для получения доступа на бекэнд (иногда он бывает открытый и оттуда можно вытащить дополнительную информацию о продукте и/или получить ее намного раньше чем продукт появится на сайте.
Посредством изучение сайта генерировать ссылки на добавление продукта в корзину (без ручных действий). Возможно просто так это не получится делать и придется использовать наш сайт для редиректа с добавлением куки в сессию.



Еще, полезная информация, если вы хотите работать с нами – я, лично, знаю многое о сайтах > могу помогать в каких-то вопросах, рассказывать как что делать.