Задача: ИИ-бот отвечает клиентам, но никто не проверял, не выдумывает ли он. Жалобы клиентов выяснялись постфактум. Решение: разработан «судья» — сервис, который прогоняет вопросы через бота и оценивает каждый ответ: соответствует ли базе знаний, не выдал ли бот информацию, недоступную роли клиента, полный ли ответ. Прогон пакетный и асинхронный, результаты — в отчётах HTML/CSV с разбивкой по типам ошибок. Стек: Python, LangChain, scikit-learn (TF-IDF), Flask, pandas, OpenAI/OpenRouter API. Результат: инструмент регулярной регрессии перед обновлениями базы знаний и промптов: видно, какие ответы сломались, до того как их увидят клиенты.