Цель: интегрировать ИИ в бытовую технику: голос/текст, рецепты и распознавание содержимого холодильника.
Масштаб и результат:
Доработана прошивка устройства; стабильная синхронизация с приложением.
Голосовой и текстовый чат в приложении с учётом телеметрии устройства.
Распознавание содержимого холодильника по фото и подбор рецептов.
Ключевые сложности и решения:
MQTT‑связь, QoS и offline‑буфер.
Модель состояний/событий, таймауты.
CV: детекция/классификация (YOLOv8/EfficientDet), on‑device TFLite или серверный инференс.
Архитектура:
Устройство: C/C++/RTOS; MQTT; OTA; pairing.
Мобильное приложение: React Native (+ Swift/Kotlin); чат и контролы; офлайн‑кеш.
Backend: FastAPI; PostgreSQL, Redis, MinIO/S3; EMQX/Mosquitto.
AI‑сервисы: ASR/TTS (SpeechKit/VoiceKit/SmartSpeech); LLM (GPT).
Стек и технологии:
C/C++/RTOS, React Native, FastAPI; PostgreSQL, Redis, MinIO/S3; EMQX/Mosquitto.
Качество данных и контроль:
Unit/integration‑тесты; метрики стабильности и производительности.
Что получил заказчик:
Контекстный ассистент и витрина рецептов; архитектура для тиражирования ещё на 8 устройств.
Доработанное ПО техники.
Доработанные приложения с ИИ ассистентом.