前置条件

  • 架构: aarch64
  • 芯片型号: Ascend 910B
  • 宿主机驱动: 26.0.rc1
  • 容器工具包 (可选) : Ascend-docker-runtime >= 6.0.RC3

镜像内容

基于

harbor.baai.ac.cn/flagos-runtime/flagos-runtime-ascend-cann9.0.0:2.1.2 open_in_new

Python

3.11

应用软件包

sglang==0.5.18+flagos

sglang-fl==0.1.dev1+g2e568482e

环境变量

  • USE_FLAGGEMS=0
  • TORCHINDUCTOR_COMPILE_THREADS=1
  • SGLANG_IS_FLASHINFER_AVAILABLE=false
  • SGLANG_SKIP_SGL_KERNEL_VERSION_CHECK=1

启动

已发布: harbor.baai.ac.cn/flagos-app/sglang0.5.18-ascend-cann9.0.0:2.1.2-0.1.dev1_g2e568482e

镜像名较长——先将其设为变量：

  IMG=harbor.baai.ac.cn/flagos-app/sglang0.5.18-ascend-cann9.0.0:2.1.2-0.1.dev1_g2e568482e

以下两种方式任选其一：

使用容器工具包

启动交互式 shell：

  docker run --rm -it \
  --privileged \
  -e ASCEND_VISIBLE_DEVICES=0,1 \
  $IMG bash

以默认设置启动应用：

  docker run --rm -it \
  --privileged \
  -e ASCEND_VISIBLE_DEVICES=0,1 \
  $IMG

向启动器传参：

  docker run --rm -it \
  --privileged \
  -e ASCEND_VISIBLE_DEVICES=0,1 \
  $IMG sglang-serve --model-path <path> --port 9000

无需工具包——直接使用 docker / podman

启动交互式 shell：

  docker run --rm -it \
  --device /dev/davinci0 \
  --device /dev/davinci1 \
  --device /dev/davinci_manager \
  --device /dev/devmm_svm \
  --device /dev/hisi_hdc \
  -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
  -v /usr/local/dcmi:/usr/local/dcmi \
  -v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \
  $IMG bash

以默认设置启动应用：

  docker run --rm -it \
  --device /dev/davinci0 \
  --device /dev/davinci1 \
  --device /dev/davinci_manager \
  --device /dev/devmm_svm \
  --device /dev/hisi_hdc \
  -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
  -v /usr/local/dcmi:/usr/local/dcmi \
  -v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \
  $IMG

向启动器传参：

  docker run --rm -it \
  --device /dev/davinci0 \
  --device /dev/davinci1 \
  --device /dev/davinci_manager \
  --device /dev/devmm_svm \
  --device /dev/hisi_hdc \
  -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
  -v /usr/local/dcmi:/usr/local/dcmi \
  -v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \
  $IMG sglang-serve --model-path <path> --port 9000
Edit this page

Last updated 25 Sep 2026, 10:04 +0800. history