ИИ assistant для ответов пользователям по базе знаний компании, с кэшированием для ускорения ответов пользователю.
Ассистент использует такие технологии и инструменты:
1. Архитектурный паттерн RAG — ИИ генерирует ответ исходя из поиска данных в нашей базе знаний (генерирует ответ опираясь на 100% верные данные)
2. Подключение OpenAI для генерации ответов.
3. Кэширование - сохранение уникальных запросов. Если пользователь задаст вопрос, который уже есть в базе — он получает ответ из базы, а не генерирует экономию времени пользователя, стоимости запроса, времени работы сервера)
4. Локальное хранение данных о компании, для поиска по запросу клиента.
5. В проекте используется ChromaDB, Python, OpenAI.
По итогу внедрения кэширования в систему среднее время ответа бота - уменьшилась на 30%