Ваш RAG-бот "глючит" или дает нерелевантные ответы?
Вы внедрили базу знаний, но не уверены в качестве ответов?
Я предлагаю полноценный MVP для глубокого анализа качества вашего RAG-пайплайна: от поиска документов (Retrieval) до генерации финального ответа.
В рамках проекта:
Внедрение метрик RAGAS:
Настрою автоматический расчет ключевых метрик:
Context Precision/Recall: Насколько хорошо система находит нужные документы.
Faithfulness: Насколько ответ соответствует найденным документам (проверка на "выдумки").
Answer Relevance: Насколько ответ полезен для пользователя.
Настройка CI/CD (GitHub Actions):
Ваш проект будет проверяться автоматически при каждом коммите.
Интеграция с векторными базами:
С ChromaDB (или другими) для локального хранения эмбеддингов.
Поддержка Российских API:
Настройка прокси и ключей для работы с любыми моделями, доступными в РФ
Автоматизация и чистота кода:
Полное покрытие тестами (как в примере: 9/9 тестов passed).
https://github.com/egorover/ego-ragascope