Нужно настроить локальный AI-помощник (RAG) на моём ПК
Что нужно:
Настроить локальную систему, которая отвечает на вопросы строго по моим файлам (документы, база знаний). Работает офлайн, данные никуда не уходят.
Железо (уже есть):
Core i7 + RTX 4090, Windows/Linux. Всё ставится на мой комп.
Задачи:
1. Установить Ollama + RAG-систему (Mnemosyne-RAG, AnythingLLM или аналог).
2. Загрузить модели: bge-m3 (эмбеддинги) + компактную генеративную (qwen2.5:7b или похожую).
3. Проиндексировать мою папку с файлами.
4. Настроить промпт, чтобы модель отвечала только по моим данным и говорила «нет в базе», если ответа нет.
5. Протестировать на 10–15 вопросах, показать ссылки на источники.
6. Обучить меня: как добавлять файлы, переиндексировать, запускать.
Что НЕ нужно:
· Fine-tune модели (дорого и не нужно).
· Облачные API (OpenAI и т.п.).
· Аренда серверов и подписки.
· Кастомная разработка с нуля — только готовые open-source решения.
Требования:
Опыт с Ollama, RAG, векторными базами (FAISS/ChromaDB). Готов приехать в офис Москва.
В отклике напишите:
1. С каким стеком будете делать.
2. Сколько времени займёт.
3. Цена и из чего складывается.
Опубликован 08.10.2026 в 22:08