Парсер данных на Node.js под ключ: сбор товаров, цен и контента с сайтов и API + ИИ-парсинг: заказать услугу у исполнителя Мхитар Манасян на бирже удаленной работы FL.RU

Пишу парсеры и автоматизацию сбора данных на Node.js (TypeScript): товары, цены, описания, контакты, контент - с сайтов, маркетплейсов и API. Данные приводятся к нужному формату и обновляются без ручной работы. Что входит в услугу (фиксированный объём): - парсер одного источника (сайт или API): перехват API или разбор HTML-страниц - выбираю более надёжный путь под конкретный сайт; один тип страниц, до 10 полей на позицию, объём до 50 000 позиций; - нормализация данных: единый формат, очистка, дедупликация; - выгрузка в удобный вид: JSON, CSV, Excel или база данных (PostgreSQL); - обработка пагинации, карточек и вложенных страниц; - безопасное обновление: прогон применяется целиком (атомарно) - при сбое или обрыве данные остаются прежними, без полупустого каталога и битых цен; - логирование каждого прогона и понятные ошибки; - запуск на вашем сервере или в облаке (serverless), либо передача готового скрипта с инструкцией. Два уровня исполнения: 1. Классический парсер - под конкретный источник. Быстро и надёжно, пока сайт не меняет структуру. 2. ИИ-парсер (при выборе доп опции) - один и тот же код работает с разными по структуре сайтами. Вместо жёстких правил под каждую страницу структуру данных извлекает ИИ-модель: парсер сам находит нужные страницы через sitemap, категоризирует их и вытаскивает данные в заданную схему. Смена вёрстки источника не ломает сбор, а новые источники подключаются без переписывания кода. Подходит, когда источников много или они часто меняются. Опыт - два парсера в продакшене: - парсер каталога PlayStation Store для действующего магазина: перехват внутреннего API стора по 4 регионам, десятки тысяч позиций, цены и скидки со сроками действия, метаданные, два режима обхода (полный и только новинки), атомарная финализация цикла с автоочисткой исчезнувших позиций, работа на очередях с алертами при сбоях. Каталог ~18 000 позиций поддерживается в актуальном состоянии автоматически; - ИИ-парсер для платформы сравнения компаний: собирает данные о фирмах и их тарифах с разных по структуре сайтов единым кодом, обходит антибот-защиту, дополнительно подтягивает внешние рейтинги с обходом Cloudflare. Собранное проходит проверку в админ-панели перед публикацией. Расширения - запуск по расписанию, обход антибот-защиты, serverless-запуск, выгрузка в Google Sheets, алерты, админ-панель, поддержка - выбираются опциями под задачу. Живые проекты и скриншоты - в моём портфолио.

Заказчик получит:

Работающий парсер и собранные данные в нужном формате, исходный код в Git и инструкция по запуску и обновлению.

До начала работы заказчик должен предоставить:

Для старта нужно: - ссылка на источник (сайт, маркетплейс или API) и пример страницы с данными; - список полей, которые нужно собирать (например: название, цена, фото, характеристики); - желаемый формат результата: JSON, CSV, Excel, база данных или ваш API; - если запуск на вашем сервере - доступ к нему (или передам готовый скрипт с инструкцией).