Необходимо реализовать скрипт для парсинга подписчиков в инстаграме.
На вход дается MySQL таблица с блоггерами (предоставлю).
Скрипт должен асинхронно парсить подписчиков этих блоггеров и складывать данные в БД.
Endpoint:
где
id id блоггера
first, limit одинаковое значение, сколько подписчиков получить за раз (надо поиграться, по 3000 за раз вроде бы нормально вытгивает
after токен для доступа к следующей "странице"
Т.е. асинхронно парсить один аккаунт (одного блоггера) невозможно (из-за токена).
Необходимо подставлять headers (логинимся в бразуере и из network таба копируем хедеры), нормального АПИ, к сожалению, уже нет.
Соответстенно, необходимо написать скрипт, который будет максимально быстро парсить данные распараллеливая процесс по блоггерам.
Условия:
1) Только python 3
2) Обязательное логгирование (ход парсинга, ошибки)
3) Профессиональный код (простой и сам могу написать, смысл в том, чтобы получить "настощий" код, как это должно быть у профессионалов, чтобы в том числе и поучиться).
3) Желательно через asyncio (либо другой, современный вариант). Понятное дело, что можно и grequests / mulprocessing / threading, но, опть же, смысл в том, чтобы получить современное решение production-уровня
4) Комментарии
5) Простые for не предлагать, такое и сам могу сделать
6) Код обязательно буду смотреть, т.е. тяп-ляп не пройдет, своих знаний для оценки качества хватит
Оплата:
БД или по факту (каким-то безопасным для себя образом показываете работу и я оплачиваю), без вариантов (развелось тут разводчиков, к сожалению, в последнее время.
Бюджет, думается, вполне оправдает день работы, однако всегда можно подвинуться, главное чтобы качество было высоким.
Таблицу со списком блоггеров для парсинга предоставлю (39).
Повторюсь:
Смысл в том, чтобы получить профессиональное решение, так как если бы скрипт делали для себя, работающее максимально быстро, логгирующее и обрабатывающее ошибки.
Если нужно купить аккаунты или прокси все сделаю и скину )
Если что-то смущает с радостью пообщаюсь в скайпе и все поясню.