Victor Makaryev

Имеется несколько текстовых файлов (от 2 до N) с большим объемом данных (более миллиона): file1.txt, file2.txt и т.д. В каждой строке один номер (например 123456789).
Необходимо написать скрипт, который позволит в начале объединить файлы, а затем удалит дубликаты и на выходе мы получим новый объединенный файл без дубликатов.

Ищу вариант зааутсорсить парсинг профилей в инстаграме по хештегам/через профили (ID).
То есть:
1) я даю список хештегов/профилей (ID)
2) получаю обратно полный список профилей (ID), которые постили с этим хештегом.
а) При этом список профилей должен быть очищен от дубликатов по базе профилей, которые были спарсены до этого.
б) профили должны быть отфильтрованы по следующим признакам:
- больше 25 постов
- последний пост не более чем 20 дней назад
- более 800 подписчиков
- не более чем 5000 подписок
- аватар – обязательно

Нужно 20 миллионов уникальных ID в течение 3 недель.

Это все умеет тулиграм, но там много ручной работы на больших объемах, и у нас нет ресурсов поддерживать его.

Есть два домена, которые нужно прогреть для того, чтобы без рисков начать делать с них рассылки от 5000 писем в день.
Они уже настроены. Нужно только наладить процесс прогрева, чтобы наработать репутацию у основных email-провайдеров: gmail, outlook, yahoo и тд.