Развёртывание нейросети на Вашем сервере: vLLM или Ollama, API как у OpenAI, замер скорости: заказать услугу у исполнителя Павел на бирже удаленной работы FL.RU

Нейросеть работает на Вашем сервере: данные не уходят во внешние сервисы, нет оплаты за каждый запрос. Ваши программы подключаются к ней так же, как к ChatGPT - через API в формате OpenAI. ЧТО ВХОДИТ 1. Подбор модели под задачу и ваше железо (Qwen, Llama, gpt-oss, DeepSeek и другие): поместится ли в видеопамять, какой скорости ждать. 2. Установка на Linux-сервер с GPU NVIDIA: vLLM - для нескольких пользователей и нагрузки, Ollama - проще, для одного-двух пользователей. 3. API в формате OpenAI: сервисы, которые умеют работать с ChatGPT, подключаются заменой адреса и ключа. 4. Запуск в Docker с автоперезапуском после сбоя и перезагрузки сервера. 5. Доступ к API только по ключу. 6. Замер скорости: токенов в секунду и время ответа при 1 и 5 одновременных запросах. 7. Инструкция: запуск, остановка, смена модели. КАК ИДЁТ РАБОТА 1. Срок считаю со дня, когда пришёл доступ к серверу. 2. В первый день проверяю сервер (GPU, драйверы, место на диске) и согласую модель. 3. Устанавливаю, настраиваю, прогоняю тесты. 4. Сдаю адрес API, ключ, отчёт о скорости и инструкцию. КАК ПРИНИМАЕТСЯ - API отвечает на тестовые запросы в формате OpenAI с вашего компьютера; - после перезагрузки сервера модель поднимается сама; - запрос без ключа отклоняется; - отчёт со скоростью при 1 и 5 одновременных запросах передан. ЧТО НЕ ВХОДИТ - аренда или покупка сервера и видеокарт (подскажу, что подойдёт под задачу); - дообучение модели на ваших данных; - чат-бот или ассистент по вашим документам - это отдельная услуга; - серверы на Windows.

Заказчик получит:

Работающую нейросеть на вашем сервере с API в формате OpenAI, отчёт о скорости и инструкцию

До начала работы заказчик должен предоставить:

1. Доступ по SSH к Linux-серверу с видеокартой NVIDIA и правами sudo. Сервера нет - подскажу, что арендовать. 2. Для чего нужна модель и сколько человек будут ей пользоваться одновременно. 3. Пожелания по модели, если есть.