Задача: после планёрки или созвона остаётся запись на час, а нужен результат встречи. Кто что взял на себя, к какому сроку, что решили и что осталось нерешённым. Вручную это полчаса переслушивания, и через неделю никто уже не помнит формулировку.
Что сделано. Первый шаг - расшифровка: модель GigaAM через sherpa-onnx, всё считается на своей машине, наружу не уходит ничего. На выходе текст с таймкодами.
Второй шаг - разбор. Текст читает модель и собирает из него короткий документ: участники и кто за что отвечает, принятые решения, названные сроки, открытые вопросы без ответа и список следующих действий. У каждого пункта стоит таймкод, чтобы можно было вернуться к записи и проверить формулировку, а не спорить по памяти.
Где слабое место, скажу сразу: разделение по голосам делается по смыслу реплик, а не по акустике. На встрече вдвоём или втроём это работает, на совещании, где восемь человек перебивают друг друга, роли будут путаться.
Зачем это заказчику: на переговорах звучат цены, условия сделки и данные клиентов. Если запись ушла на чужой сервер, объясняться с его службой безопасности придётся мне. Тот же принцип я держу в проектах: чувствительные данные в облачную модель не уходят.
Что разбирается: планёрки, созвоны с заказчиками, голосовые из мессенджеров, аудиодорожка видео.