Проект: Локальная мультиагентная система (LLMOps) на базе Dify
Ищу опытного DevOps/MLOps-инженера для развертывания системы из 5 AI-агентов на выделенной рабочей станции. Система работает строго локально (без облаков) с требованием абсолютной изоляции данных.
Оборудование и стек:
Железо: RTX 3090 (24GB) + RTX 5060Ti (16GB), 64GB RAM, Windows 10/11 Pro.
Стек: Ollama (2 независимых инстанса), Dify (через Docker Desktop в WSL 2), Powercom WinPower (для ИБП).
Модели: DeepSeek-R1-Distill-Qwen-32B (GPU 0), Qwen2.5-Coder-14B (GPU 1).
Ключевые задачи (КРИТИЧНО):
Изоляция (IP Protection): Настроить систему так, чтобы процессы локальных моделей не имели доступа к внешней сети. Исходящий трафик от ollama.exe на внешние IP — не более 1 КБ за 5 минут генерации.
Multi-GPU: Развернуть два независимых инстанса Ollama (порты 11434 и 11435) на разных GPU.
Dify: Развернуть 5 Chat-приложений (не Workflow!) с готовыми заглушками промптов.
ИБП: Настроить корректный graceful shutdown через WinPower при отключении питания (таймер 5 минут + страховка по заряду 30%).
Опубликован 02.10.2026 в 21:34