Развернуты две модели для генерации и анимации изображений с дальнейшей оптимизацией и квантизацией.
SadTalker — модель, которая позволяет анимировать лица на статичных изображениях, синхронизируя движения губ с аудио. Это решение идеально подходит для создания фотореалистичных анимаций лиц для видеоперсонализированных сообщений, обучения, развлечений и других приложений. Оптимизация и квантизация обеспечивают высокую производительность без потери качества, что критично для индустриальных решений.
Ссылка на репозиторий модели:
https://github.com/OpenTalker/SadTalker/tree/main
LivePortrait — модель для создания живых портретов в реальном времени. Она использует передовые алгоритмы для преобразования обычных изображений в анимированные портреты с реалистичной динамикой. Это решение особенно полезно для приложений в области дополненной реальности, виртуальных помощников, а также в сфере развлечений.
Ссылка на репозиторий модели:
https://github.com/KwaiVGI/LivePortrait/tree/main