image
Клиент — edtech-платформа с 6 LLM-фичами (проверка эссе, подсказки, FAQ-бот, генерация тестов). Промпты хранились в Notion и Google Docs — 4 разработчика правили «как помнят», версии путались, регрессии после правок обнаруживались только по жалобам пользователей. Не было единых метрик качества. Задача: prompt registry — централизованное хранилище промптов с версионированием, A/B-тестами, метриками (quality, latency, cost) и процессом promote staging → production. Реализация: • registry (PostgreSQL + UI): prompt_id, version, author, diff, tags (prod/staging/archived); • API для приложений: GET /prompt/{id}?version=latest|pinned; • A/B framework: 50/50 split, метрики — user rating, task success, tokens, latency; • eval hooks: автопрогон eval-набора при сохранении новой версии; • rollback в один клик; audit log всех изменений; • шаблон PR для prompt change: что менялось, результаты eval, риски; • дашборд: cost per feature, win rate A/B, top failing eval cases. Стек: промпт-инжиниринг, Python, FastAPI, PostgreSQL, React, OpenAI API, Docker. Eval-наборы — YAML + JSON. Приёмка: 6 фич мигрированы, 0 prod-инцидентов за первый месяц. Итог: деплой промптов — контролируемый; время rollback — минуты; видимость cost/quality по каждой фиче. NDA: платформа не публикуется.