Развернуть ml модель на сервисе runpod.io с использованием Serverless vLLM
модель:
или
Результат работы:
- поднятая модель в runpod.io
- доступная по api по средствам vllm
- правильно настроен темплейт
- если эти модели не совместимы с vllm подобрать схожую совместимую модель
Задание засчитывается только в том случае если:
- Модель возвращает связный, человекочетаемый текст
- Сервис не 500'тит
- История передаваемая в api учитывается при ответах модели
Внимание: Вы можете взять заказ если у вас не было опыта работы с vllm и разверткой моделей, но будьте готовы, что это может занять у вас существенно больше времени, чем вы рассчитываете.