Ego-RagaScope: Анализ качества вашего AI-ассистента и RAG-пайплайна

Ссылка на работу
image image image image image
Ваш RAG-бот "глючит" или дает нерелевантные ответы? Вы внедрили базу знаний, но не уверены в качестве ответов? Я предлагаю полноценный MVP для глубокого анализа качества вашего RAG-пайплайна: от поиска документов (Retrieval) до генерации финального ответа. В рамках проекта: Внедрение метрик RAGAS: Настрою автоматический расчет ключевых метрик: Context Precision/Recall: Насколько хорошо система находит нужные документы. Faithfulness: Насколько ответ соответствует найденным документам (проверка на "выдумки"). Answer Relevance: Насколько ответ полезен для пользователя. Настройка CI/CD (GitHub Actions): Ваш проект будет проверяться автоматически при каждом коммите. Интеграция с векторными базами: С ChromaDB (или другими) для локального хранения эмбеддингов. Поддержка Российских API: Настройка прокси и ключей для работы с любыми моделями, доступными в РФ Автоматизация и чистота кода: Полное покрытие тестами (как в примере: 9/9 тестов passed).
https://github.com/egorover/ego-ragascope