前置条件

  • 架构: x86_64
  • 芯片型号: 通用 GPU
  • 宿主机驱动: 610.43.02
  • 容器工具包 (可选) : nvidia-container-toolkit

镜像内容

基于

harbor.baai.ac.cn/flagos-runtime/flagos-runtime-nvidia-cuda12.8:2.2.0 open_in_new

Python

3.12

应用软件包

vllm==0.24.0+flagos

vllm-plugin-fl==0.3.0

环境变量

  • VLLM_USE_FLASHINFER_SAMPLER=0

启动

已发布: harbor.baai.ac.cn/flagos-app/vllm0.24.0-generic-12.8:2.2.0-0.3.0

镜像名较长——先将其设为变量：

  IMG=harbor.baai.ac.cn/flagos-app/vllm0.24.0-generic-12.8:2.2.0-0.3.0

以下两种方式任选其一：

使用容器工具包

启动交互式 shell：

  docker run --rm -it \
  --gpus all \
  $IMG bash

以默认设置启动应用：

  docker run --rm -it \
  --gpus all \
  $IMG

向启动器传参：

  docker run --rm -it \
  --gpus all \
  $IMG vllm-serve --model <path> --port 9000

无需工具包——直接使用 docker / podman

启动交互式 shell：

  docker run --rm -it \
  --device /dev/nvidia0 \
  --device /dev/nvidiactl \
  --device /dev/nvidia-uvm \
  -v /usr/bin/nvidia-smi:/usr/bin/nvidia-smi:ro \
  -v /usr/lib/x86_64-linux-gnu/libnvidia-ml.so.1:/usr/lib/x86_64-linux-gnu/libnvidia-ml.so.1:ro \
  -v /usr/lib/x86_64-linux-gnu/libcuda.so.1:/usr/lib/x86_64-linux-gnu/libcuda.so.1:ro \
  $IMG bash

以默认设置启动应用：

  docker run --rm -it \
  --device /dev/nvidia0 \
  --device /dev/nvidiactl \
  --device /dev/nvidia-uvm \
  -v /usr/bin/nvidia-smi:/usr/bin/nvidia-smi:ro \
  -v /usr/lib/x86_64-linux-gnu/libnvidia-ml.so.1:/usr/lib/x86_64-linux-gnu/libnvidia-ml.so.1:ro \
  -v /usr/lib/x86_64-linux-gnu/libcuda.so.1:/usr/lib/x86_64-linux-gnu/libcuda.so.1:ro \
  $IMG

向启动器传参：

  docker run --rm -it \
  --device /dev/nvidia0 \
  --device /dev/nvidiactl \
  --device /dev/nvidia-uvm \
  -v /usr/bin/nvidia-smi:/usr/bin/nvidia-smi:ro \
  -v /usr/lib/x86_64-linux-gnu/libnvidia-ml.so.1:/usr/lib/x86_64-linux-gnu/libnvidia-ml.so.1:ro \
  -v /usr/lib/x86_64-linux-gnu/libcuda.so.1:/usr/lib/x86_64-linux-gnu/libcuda.so.1:ro \
  $IMG vllm-serve --model <path> --port 9000
Edit this page

Last updated 28 Sep 2026, 22:20 +0800. history