Prompt registry: версионирование, A/B-тесты и метрики качества
Клиент — edtech-платформа с 6 LLM-фичами (проверка эссе, подсказки, FAQ-бот, генерация тестов). Промпты хранились в Notion и Google Docs — 4 разработчика правили «как помнят», версии путались, регрессии после правок обнаруживались только по жалобам пользователей. Не было единых метрик качества.
Задача: prompt registry — централизованное хранилище промптов с версионированием, A/B-тестами, метриками (quality, latency, cost) и процессом promote staging → production.
Реализация:
• registry (PostgreSQL + UI): prompt_id, version, author, diff, tags (prod/staging/archived);
• API для приложений: GET /prompt/{id}?version=latest|pinned;
• A/B framework: 50/50 split, метрики — user rating, task success, tokens, latency;
• eval hooks: автопрогон eval-набора при сохранении новой версии;
• rollback в один клик; audit log всех изменений;
• шаблон PR для prompt change: что менялось, результаты eval, риски;
• дашборд: cost per feature, win rate A/B, top failing eval cases.
Стек: промпт-инжиниринг, Python, FastAPI, PostgreSQL, React, OpenAI API, Docker. Eval-наборы — YAML + JSON. Приёмка: 6 фич мигрированы, 0 prod-инцидентов за первый месяц.
Итог: деплой промптов — контролируемый; время rollback — минуты; видимость cost/quality по каждой фиче. NDA: платформа не публикуется.