Тестирование RAG-системы (построение QA)

Бюджет: по договоренности
Мы с командой на начальной стадии разработки RAG cистемы, разговорного агента, работающего в чатах. На текущий момент есть MVP прототип с возможностью:
- загрузки знаний, в том числе парсер сайтов;
- ingest воронка. Т.е. все что в документах индексируется с определенными особенностями;
- дальше, собственно, сам агент, пока без тулов, но с классификацией интента, эскалацией на оператора и т.д.
На проекте есть субъективное ручное тестирование на небольшом датасете и RAGAS.

Ищу человека, который в первую очередь сможет принести систему, с помощью которой мы сможем контролировать и конечный результат и отдельные звенья агента. Пока не усложняя, держа в голове начальную стадию развития проекта.

С точки зрения бизнеса есть потребность:
- понимать текущий показатель качества по сравнению с конкурентами;
- контролировать качество продукта при его развитии.

Сейчас только в процессе организации юр лица, поэтому работаю с ИП и самозанятыми. Ищу человека с опытом решения подобных задач, кто сможет «распаковать» свой багаж знаний на нашем проекте, научить и развивать проект вместе с нами. В откликах буду благодарен, если расскажите про свой опыт на подобных проектах.
Опубликован 08.07.2026 в 12:13

Выберите способ верификации:

Обновите страницу после прохождения верификации.