Андрей Андреич [tastemeru]

tastemeru

Андрей Андреич [tastemeru]

На сайте 12 лет (заходил 2 часа 11 минут назад)
+ 9  0  - 0
1
339.85
Рейтинг339.85
339.85
Отзывы+ 9  0  - 0
+ 9  0  - 0
Все (2)       Заказы (2)        Вакансии (0)       Конкурсы (0)
Разместить заказ
Вчера
22 Октября 2021, Пятница
Написать парсер исключительно на Scrapy, который будет проходить все категории сайта themeforest.net, собирать все ссылки на товары и потом заходить по каждой ссылке и сохранять содержимое от туда. Важно, что в больших категориях показываются не все товары, а 80 страниц макс и нужно их дробить на более мелкие подкатегории.

На выходе из парсера должен быть файл, где будут данные в виде: заголовок товара | цена | дерево категорий | тэги.

Результатом работы будет исходный код парсера и демонстрация, что он работает.

Прошло времени с момента публикации: 1 день 4 часа 46 минут
Раздел: Программирование / Парсинг данных
12 Октября 2021, Вторник
Ищем человека, кто работал и умеет скэйлить Postgres и RabbitMQ в кластер. Есть сервис, который построен на микросервисах в котором сейчас где то 5 железных серверов и штук 15 впс.
Нужно:
— Настроить систему мониторинга и алертов
— Настроить оптимальные конфиги для постгрес и RabbitMQ, предложить архитектуру для их скэйлинга исходя из нашего сервиса(более 2млрдов эвентов в очереди каждый день)
— Поддерживать всю инфаструктуру в рабочем виде

Думаю работы будет примерно на часов 30-40 каждый месяц.
Расскажите о своем опыте с Postgres, RabbitMQ на хайлоад проектах и предложите месячный фикс исходя из требований выше.

Прошло времени с момента публикации: 10 дней 19 часов 48 минут
Раздел: Сети и инфосистемы / Сетевое администрирование