Компания международный провайдер proxy- и data-инфраструктуры. Мы создаём собственную высоконагруженную платформу для web-scraping: API, к которому можно передать любой URL, а на выходе получить чистый HTML или структурированный JSON, без забот о прокси, капчах и анти-ботах.
Платформа будет поддерживать как облачную модель, так и развёртывание в инфраструктуре клиента (on-prem, Kubernetes).
Задачи
- Проектирование архитектуры
- – Data-plane: высокопараллельный краулер, управление сессиями, анти-бот-обход, CAPTCHA-солвер
- – Control-plane: API, авторизация, биллинг, квотирование, мониторинг
- – Инфраструктура: микросервисы, Docker/K8s, CI/CD, observability
- Лидерство в разработке
- – Формирование команды: участие в найме backend-, browser-, DevOps- и QA-инженеров
- – Выстраивание процессов разработки и релизов
- – Контроль качества кода и технических решений
- Исследование и обход анти-ботов
- – Фингерпринтинг браузеров и сетевых уровней (JA3, TLS, CDP)
- – Обход защит: Cloudflare, Akamai, Qrator, ServicePipe, Variti и др.
- DevOps / SRE
- – Настройка CI/CD, Helm-чартов, масштабирования
- – Организация мониторинга (Prometheus, Grafana, Loki) и SLA-процессов
Требования
- 5+ лет инженерного опыта в высоконагруженных backend-/data-платформах
- Отличное понимание HTTP, TLS, HTTP/2, прокси, браузерного стека (CDP, WebRTC)
- Опыт с async Python или Go (в идеале оба), Redis, очередями, брокерами
- Продвинутый уровень DevOps-инструментов: Kubernetes, Helm, Prometheus, CI/CD
- Опыт анализа и обхода систем защиты от ботов — большой плюс
- Английский язык — уверенный (вся документация и часть команды англоязычные)
- Умение принимать решения, менторить и брать ответственность за результат
Условия
- Участие в разработке ключевого продукта компании с нуля
- Высокая автономия и влияние на архитектуру и команду
- Бюджет на конференции, курсы, рабочие инструменты
Как податься
Делайте отклик с темой «Lead Scraper Platform». Укажите:
- Пример проекта, где вы вели разработку или архитектуру сложной backend-/data-системы
- Пример сложной задачи обхода анти-бота или фингерпринтинга (если можете)
- Ссылку на GitHub, LinkedIn и/или PDF-CV