Заказчиком было определено задание - собрать номера телефонов МФО/Аренды квартир/Частных клиник/ и т.д. из поисковой выдачи Яндекса по заданным регионам.
Был написан многофункциональный парсер, который:
1. Принимает на входе поисковый запрос, открывает в браузере яндекс с ручным решением капчи пользователем, листает страницы с поисковой выдачей и собирает нужное количество ссылок, сохраняет эти ссылки в текстовый файл.
2. В следующей вкладке пользователь выбирает этот файл и запускает парсер, который собирает все номера телефонов и whatsapp с этих страниц и выгружает в csv файл в виде: ссылка;номера_телефонов
3. В следующей вкладке пользователь выбирает получившийся файл, который убирает дубли и нормализует ссылки.