Нужно реализовать приложение, которое будет:
1. Получать голос по ws от sdk mentra
2. Отправлять в real-time API OpenAI
3. Получать ответ от OpenAI
4. Конвертировать Sppech-to-Text с помощью OpenAI
5. Отправлять на рендер в очки текст
Дополнительно нужно реализовать WebView в этом приложении с настройками, куда нужно положить свой OpenAI API KEY
Дока по экосистеме MentraOS -
Дока по созданию приложений с использованием Mentra SDK
Demo приложения
Дока real-time-api
Дебажить можно без очков в приложении есть эмулятор:
Деплой приложения осущесвляется в
У Mentra есть дока как сделать это с их приложением
Используемые технологии: TypeScript+Bun, github, railway, OpenAI, WebSocket