Caller: голосовой AI-сервис с конструктором сценариев
Голосовой AI-сервис: визуальный конструктор сценариев, диалоги в браузере и сбор структурированных ответов.
Задача: объединить настройку разговора, распознавание речи, озвучку и обработку результатов.
Что сделал:
• Конструктор с ветвлениями, библиотека фраз и голосов, предварительное прослушивание и публикация версий.
• Голосовые сессии через LiveKit, распознавание Yandex SpeechKit, AI-извлечение данных из свободных ответов. Переходы задаются сценарием; ответы проверяются по типам и ограничениям.
• Подготовка озвучки заранее, персонализированные фразы с именем, закрепление версий аудио за сценарием.
• Результаты разговоров и Google Sheets: чтение исходных строк и запись результатов. Интерфейсы и серверная логика телефонных вызовов и кампаний.
• Восстановление после ошибок, защита от повторного запуска, обработка отказа от контакта, разграничение доступа. Автоматические проверки API, базы и браузерного интерфейса.
Результат: реализован браузерный голосовой сервис от конструктора до структурированного результата. Телефонный контур и кампании подготовлены в коде; запуск с реальным оператором и проверка внешних интеграций — отдельный этап.
Стек: Python, FastAPI, TypeScript, React, Vite, React Flow, PostgreSQL, LiveKit/WebRTC, Yandex SpeechKit, Qwen, Google Sheets API, Docker, pytest, Playwright.