Делаем онлайн-тренажёр «Олимпус» по обществознанию для школьников 9–11 классов.
Сценарий: ученик выбирает класс → проходит входной тест (~10 заданий) → дальше система адаптивно подбирает задания, ставит оценки 0–10, даёт разбор и рекомендации, иногда возвращает к более простым задачам для повторения.
Нужен ML/Backend-разработчик (Python + внешняя LLM), который спроектирует и реализует лёгкое ML-ядро сервиса.
Что нужно сделать
Оценка ответов
Проверка тестов (1 и несколько вариантов), кратких ответов, эссе.
Выдача балла 0–10 и структурированного ответа (правильно/неправильно, по каким пунктам не дотянул).
Обратная связь
Для тестов: объяснение правильного варианта + по фразе, почему другие неверны.
Для текстов: разбор по ключевым пунктам, рекомендация темы, при возможности — ссылка на литературу через простую RAG-схему.
Профиль знаний
Карта знаний по блокам обществознания (экономика, политика, право, соц. отношения, человек и общество и т.п.).
Обновление профиля после каждого задания, выделение слабых тем.
Адаптивная выдача заданий
Простая rule-based/ELO-подобная логика:
skill_level 1–10;
правила повышения/понижения уровня (5 удачных/5 провальных задач);
подмешивание более простых задач, учёт выбранной темы.
Золотые данные и метрики
Описать формат таблиц для разметки экспертами.
Предложить минимальный объём золотых данных (ориентир 200–300 ответов).
Реализовать расчёт MAE/RMSE и κ-Коэна, логирование версий модели.
Технологии / ограничения
Python 3.x, желательно опыт с FastAPI/Flask.
Внешняя LLM (GPT-уровень или аналог) для оценок и генерации текста.
Простая RAG-схема (векторный поиск или проще).
Язык данных и интерфейсов — русский.
Время ответа: тесты ≤ 2–3 с, тексты ≤ 10 с.
Срок: до 3 месяцев.
Старт работ — ориентировочно февраль–март.
Тестовое задание (короткое)
В отклике кратко опишите:
Формат двух таблиц для разметки экспертами:
задания (ID, текст, тема, сложность, уровень олимпиады, эталонный ответ и т.п.);
ученические ответы (ID задания, текст ответа, экспертный балл 0–10 и т.д.).
Какой объём золотых данных вы бы взяли для MVP и почему.
Что прислать в отклике
Коротко о релевантном опыте (ML / LLM / RAG / адаптивные системы).
Ссылки на GitHub/портфолио/проекты.
Наличие опыта с русскоязычными задачами (плюс).
Более подробное ТЗ: