AI для IoT техники: ассистент, рецепты и CV (MVP для мультимиксера)

Ссылка на работу
image
Цель: интегрировать ИИ в бытовую технику: голос/текст, рецепты и распознавание содержимого холодильника. Масштаб и результат: Доработана прошивка устройства; стабильная синхронизация с приложением. Голосовой и текстовый чат в приложении с учётом телеметрии устройства. Распознавание содержимого холодильника по фото и подбор рецептов. Ключевые сложности и решения: MQTT‑связь, QoS и offline‑буфер. Модель состояний/событий, таймауты. CV: детекция/классификация (YOLOv8/EfficientDet), on‑device TFLite или серверный инференс. Архитектура: Устройство: C/C++/RTOS; MQTT; OTA; pairing. Мобильное приложение: React Native (+ Swift/Kotlin); чат и контролы; офлайн‑кеш. Backend: FastAPI; PostgreSQL, Redis, MinIO/S3; EMQX/Mosquitto. AI‑сервисы: ASR/TTS (SpeechKit/VoiceKit/SmartSpeech); LLM (GPT). Стек и технологии: C/C++/RTOS, React Native, FastAPI; PostgreSQL, Redis, MinIO/S3; EMQX/Mosquitto. Качество данных и контроль: Unit/integration‑тесты; метрики стабильности и производительности. Что получил заказчик: Контекстный ассистент и витрина рецептов; архитектура для тиражирования ещё на 8 устройств. Доработанное ПО техники. Доработанные приложения с ИИ ассистентом.