Задача: Обычный видеоролик на сайте говорит со всеми посетителями одинаково и не отвечает на вопросы. Для Golova цифровой персонаж должен был принимать реплику человека, отвечать голосом без заранее записанного сценария и продолжать разговор в том же окне. Владельцу сайта требовались настройки внешности, голоса, модели и материалов персонажа.
Решение: Мы собрали видео-виджет и панель управления персонажами. Виджет открывается поверх страницы, поддерживает голос и текст и подключается одним скриптом.
В голосовом режиме система распознаёт реплику, передаёт историю разговора языковой модели и озвучивает результат. Содержание формируется во время разговора с учётом роли персонажа.
В библиотеке доступны разные персонажи, для проекта можно загрузить свой образ. Панель хранит выбранные видео, голос, способ передачи аудио и параметры ответа.
К персонажу подключаются PDF и текстовые материалы. Система извлекает содержание, включая сканы, и показывает состояние обработки каждого файла.
Результат: Владелец создаёт клиентов и аватаров, назначает им модели, инструкции, голоса и базы знаний. Настройки и история разных клиентов разделены.
Для коротких консультаций и сложных вопросов можно использовать разные модели. Ключи поставщиков хранятся на сервере и не попадают в браузер.
Один персонаж проводит презентацию, другой работает преподавателем или консультантом. Имя, инструкция и манера ответа меняются в панели без пересборки сайта…
https://habab.ru/ai/ai_avatar_platform