Разработать прототип системы компьютерного зрения (CV) и мультимодальной нейросети (VLM) для автоматической оценки видео с латте-артом. Бот должен выдавать объективную оценку по 13-пунктному чек-листу, который сейчас используется в тренинговом центре компании.
Функциональные требования (Что должен делать бот)
Пользователь (стажер или тренер) загружает короткое видео (до 8 секунд, с момента броска молока до окончания зачеркивания).
Бот должен проанализировать видео и выдать JSON-ответ или текстовый отчет с оценкой по 13 пунктам (статусы 🟢/🟡/🔴 и краткий комментарий к 🔴):
1. Положение тела
2. Хват чашки
3. Хват питчера
4. Скорость (тайминг)
5. Поток (непрерывность струи)
6. Читаемость движений
7. Высота (расстояние питчера до чашки)
8. Амплитуда
9. Наклон чашки
10. Разворот чашки
11. Плавность петель
12. Проход в центр
13. Зачеркивание
Пример идеального ответа бота:«4. Скорость: 🟢 (Уложился в норматив). 5. Поток: 🔴 (Струя прервалась в середине). 7. Высота: 🟡 (В начале слишком высоко, к концу выровнялось). Общий комментарий: Базовая геометрия сердца верная, но есть проблема с непрерывностью потока и высотой в первой фазе».
Технические требования (Как это сделать)
Задача делится на два этапа (два модуля):
Модуль А: Компьютерное зрение (OpenCV / CV)
• Обнаружение чашки и питчера в кадре.
• Трекинг траектории струи молока.
• Анализ геометрии рисунка: симметрия сердца, наличие/отсутствие зачеркивания, центровка рисунка.
• Оценка скорости (по таймкоду видео) и плавности (через вычисление ускорения и рывков).
Модуль Б: Vision-Language Model (VLM)
• Нейросеть (например, GPT-4o, Claude 3.5 Sonnet via API, или локальная модель вроде MiniCPM-V / Qwen-VL) должна «посмотреть» видео и соединить данные из Модуля А с контекстом чек-листа.
• Модель должна дать текстовое заключение по пунктам, которые сложно описать математикой (читаемость движений, хват, положение тела).
Входные данные (Что предоставит заказчик)
• Эталонные видео: 10–15 видео с идеальным выполнением (все 🟢).
• Видео с ошибками: 15–20 видео с типичными ошибками стажеров.
• Эталонные оценки: Разметка (что именно тренер сказал по каждому видео).
• Чек-лист: Полное описание 13 пунктов с критериями.
Ожидаемый результат (Deliverables)
• MVP (минимально жизнеспособный продукт): Скрипт на Python (FastAPI или Telegram-бот), который принимает видео и выдает оценку по чек-листу.
• Точность: На тестовой выборке бот должен совпадать с оценкой тренера минимум на 75–80% (по статусам 🟢/🔴).
• Документация: Краткая инструкция по запуску и использованию.
Опубликован 16.11.2026 в 11:27