Скраппер ограничений импорта животных и эпидемической ситуации по странам

Ссылка на работу
image image image
Работа была выполнена по заказу научного сотрудника МВА имени К. И. Скрябина для кандидатской работы. Был реализован авторский алгоритм анализа ограничений Россельхознадзора по импорту в РФ крупного рогатого скота из указанной страны, а также эпидемической ситуации в соответствующей стране по данным мирового агентства WOAH. Существенная часть работы заключалась в скраппинге данных с сайта Россельхознадзора и дашборда WOAH WAHIS. Работа осложнялась тем, что дашборд WOAH WAHIS реализован полностью как js oclick приложение, что потребовало эмуляции браузера через playwright для имитации последовательности пользовательских действий. Данные выгружаются раз в день отдельным скриптом на диск (в будущем возможна миграция в базу данных), бэкенд на FastApi читает их при загрузке, и выполняет анализ при запросе по API. Также сделана локализация статичных текстов (в будущем возможен автоперевод выгруженных данных с помощью LLM), нормализация данных двух систем, и тонкий клиент на vue.js. Инкапсуляция логики в бэкенде позволяет подключить также телеграмм бота и другие системы, и в целом приложение написано в архитектуре, допускающей расширение и запуск в коммерческую эксплуатацию (оставлено на будущее по желанию заказчика). Для удобства разв`ёртывания также был разработан docker compose и ci/cd скрипт. Код покрыт юнит и автотестами и разработана утилита для удобства разработки. Система еще в разработке и недоступна публично.