при использовании multithreading or aoihttp, asyncio в двух разных варинтах имплементации у меня не получается превысить скорость скачивания по http в 2,7 Gbits = ca. 340 MB/s для большого количества маленьких файлов (от 400 Кб до 6 МБ).
url list предоставляется. Сождержимое файлов не нужно, можно в dev/null кидать. Главная задача- тестовая нагрузка системы хранения данных.
Нашел предложение использовать multiprocessing, multithreading + asyncio в одном:
смотреть страницу 148, тест для Combo.
т.к. сам уже по времени не успеваю, требуется этот вариант скачивания имплементировать.
Исполнитель отдаёт скрипт на Python 3.6+, идеально было бы 3.6.9.
Сроки: 1-2 дня, лучше 1.
Критерий выполнения задания: скорость скачивания, более 1 GB/s or 8 Gbits. Тесты будут делаться на железках с 2xCPU 16 cores, 32 GB ram, 40 gbits uplink. Т.е. сама железка не будет узким местом.