Внедрение языковой модели в рабочий процесс: база знаний, проверки, восстановление

Ссылка на работу
Задача. Языковая модель уверенно выдаёт неверные факты. На длинной задаче теряет нить. Оборвалась сессия — начинает с чистого листа. В переписке это терпимо, в рабочем процессе такие ошибки доезжают до готового результата. Решение. Собрал вокруг модели базу знаний с индексом и поиском: модель находит запись и отвечает по ней. Утверждениям о состоянии системы на слово верить запрещено — каждое перепроверяется независимым инструментом. Оборвалась работа — порядок один: поднять состояние, проверить его фактически, продолжить с известной точки. Задачи разведены по отдельным рабочим линиям, чтобы одна не засоряла другую. Готовый результат до сдачи смотрит вторая модель. Результат. На проверках поймались несуществующие ссылки в готовом ответе и подмена стандарта; нашёлся скрытый дефект в расчёте, который выглядел рабочим. Задача, стоявшая восемь дней, закрылась за полтора часа после смены схемы работы.