image
Клиент — fintech-сервис с публичным чат-ботом на сайте (~5 000 диалогов в месяц). После запуска всплыли проблемы: бот обещал несуществующие тарифы, отвечал на jailbreak-запросы, уходил в политические темы. Команда закрывала дыры точечными правками — регрессии повторялись каждые 2–3 недели. Задача: система prompt-guardrails — многослойная защита, red-team набор атак, политики и процесс регрессионного тестирования перед каждым деплоем промпта. Реализация: • system prompt v2: роль, границы, запрет финансовых обещаний, формат «не знаю → эскалация»; • policy layer: 40+ правил (regex + LLM-check) — PII, конкуренты, юридические советы; • red-team набор: 150 атак (jailbreak, role-play, prompt injection, social engineering); • regression suite: прогон перед деплоем, отчёт pass/fail, блокировка при < 95% success; • output validator: проверка ответа на стоп-фразы и галлюцинированные тарифы; • playbook для команды: как добавить правило, как разбирать инцидент; • метрики: block rate, false positive, инциденты по неделям. Стек: промпт-инжиниринг, OpenAI API, Python (test runner), YAML policies, CI/CD hook. Приёмка: red-team пройден, 0 critical находок в prod-shadow 2 недели. Итог: инциденты с «опасными» ответами −90%; деплой промптов — с регрессией, а не «на глаз». NDA: сервис не публикуется.