Модуль парсинга профессиональных компетенций (ПК)

Что есть

Программное обеспечение: Справочник образовательных программ вузов с функционалом:
Выбор образовательной программы по коду или названию.
Отображение списка вузов, реализующих выбранную программу.
Выбор 2–4 программ для анализа.

Исходные данные:
Исходный код программы.
Справочник вузов (.txt, ~44 тыс. программ) с кодами, названиями и официальными сайтами.

Что нужно сделать

Цель: Разработать модуль парсинга, который автоматически:
Находит и загружает PDF-файлы с описанием образовательных программ, соответствующих кодам выбранных программ, с официальных сайтов выбранных вузов.
Извлекает из PDF профессиональные компетенции (ПК).
Выводит PDF и ПК для анализа.

Задачи:
Интегрировать модуль парсинга в существующую программу, используя предоставленный справочник и код, с возможностью изменения кода при необходимости, сохраняя текущую функциональность.
Реализовать переход по ссылкам на сайты выбранных вузов для выбранных образовательных программ.
Найти и скачать PDF-файлы, содержащие описание программ с ПК, соответствующих кодам выбранных программ.
Извлечь текст из PDF и выделить ПК.
Отобразить пользователю скачанные PDF и структурированный список ПК для анализа.

Результат: Модуль, встроенный в программу, для автоматической загрузки PDF по кодам выбранных образовательных программ с сайтов выбранных вузов и извлечения ПК для анализа, с сохранением текущей функциональности программы.