Требуется консультация от профи по python. Интересует модуль multiprocessing. Необходимо сделать многопоток; но многопоток именно из одного процесса.(т.е из 1го скрипта). Если я не ошибаюсь, то подобное можно реализовать только с помощью multiprocessing. При этом, чтоб на каждый процесс брались свои данные из 1 файла, и производилась запись ответов в 1 файл. Естественно, чтоб всё это было без повторов во взятых данных, и без ошибок при логировании. Для примера: организовать количество копий запускаемого скрипта, исходя из количества строк в главном файле. (например в нём 955 строк), т.е это должно быть 955 процессов, т.к. в этом файле было 955 строк с входными параметрами. Каждый процесс берёт по параметру из этого файла, и будет делать post-запрос через requests, и каждый должен брать свои параметры из 1 файла, и записывать ответ с каждого процесса в файл. После пост запроса у меня затем будут и другие однотипные действия в потоках, и в каждом потоке будут свои данные из других файлов. но для моего понимания будет достаточно примера на одном запросе. Писать и тестировать будем на мощном серваке hetzner'а. Версия пайтона 3.7. C python работаю месяца 4, проблем с ним не имею, но до многопотока руки никак не доходили. Если есть люди, кто сможет помочь в организации, обязательно свяжитесь со мной, оплатой не обижу. отпишитесь в комментах, и далее свяжемся по скайпу, или там, где вам удобнее.
Опубликован 29.04.2017 в 23:33