Универсальный парсер криптоновостей с интеграцией ИИ

Ссылка на работу
image
Универсальный парсер статей с сайтов криптоновостей. В очередь RabbitMQ загружаются сайты с xpath и конрфигом, воркер асинхронно проходится по сайтам, извлекает название статьи, тест статьи, дату публикации, автора статьи. автоматически переводит название статьи на английский через google translate api. Если xpath не сработал делает поиск по метаданным og/meta/jsonld/readability. Последний fallback делается на внешний api для скрейпинга чтобы найти нужные поля через ИИ.