Анализ данных | ML | Python3 | Object Detection

Бенчмаркинг готовых моделек и дообучение для задач детекции.

Есть 2 предобученные нейросети. Одна CNN, Одна ViT-like Transformer. Датасет COCO 17.
Мне требуется провести их оценку. Надо сделать работу из двух частей:

(1) --- Бенчмарки,  (!) сопровожденные таблицами и графиками (pandas и т.п.):
1. Качество детекции (mAP, Precision / Recall  и др.) 
2. Перф (latency, fps на разных батчах, throughput)
3. AP_small/medium/large (зависимость качества детекции от размера обьекта)
4. Робастность (устойчивость к шуму; внести шум и построить зависимость качества детекции)
Дать оценку Efficiency (отношение качество / скорость)
К каждому эксперименту добавить комментарий в пару-тройку предожений с пояснениями.

По итогам сделать небольшой текстовый раздел, где дать оценку слабым, сильным сторонам архитектур, в общем агрегировать результаты экспериментов.

(2) --- 
Основываясь на предыдущем разделе, выбрать и применить аугментацию, дообучить ViT и  получить улучшение метрик детекции у ViT'а. Обьяснить в комментарии, какое слабое место архитектуры улучшается 

(!!) Рассмотрю замену второй части на что-то попроще, предлагайте.

IDE: блокнот в Jupyter
Стиль: близко к PEP8, комментарии на русском.
ДЕДЛАЙН: 29 мая 23:59
ВАЖНО: код не продовый, допускаются мелкие недоработки, какого-то идеально научного исследования проводить не надо, в приоритете скорость.

Если готовы – пишите цену за один раздел, за оба раздела, время, обьем кода примерный. Модельки сообщу и можно делать.