sglang0.5.18-sunrise-tangrt1.2.0

前置条件 link

• 架构: x86_64
• 芯片型号: Sunrise SR-SUN-S2-X1
• 宿主机驱动: 0.24.0

镜像内容 link

基于 link

Python link

3.10

应用软件包 link

sglang==0.5.18+flagos

sglang-fl==0.1.dev1+g3b94dae1f

环境变量 link

• TORCHINDUCTOR_COMPILE_THREADS=1
• SGLANG_IS_FLASHINFER_AVAILABLE=false
• SGLANG_SKIP_SGL_KERNEL_VERSION_CHECK=1
• SGLANG_FL_FLAGOS_BLACKLIST=_scaled_dot_product_attention_math,pow_scalar,pow_tensor_scalar,pow_tensor_tensor

启动 link

已发布: harbor.baai.ac.cn/flagos-app/sglang0.5.18-sunrise-tangrt1.2.0:2.2.0-0.1.dev1_g3b94dae1f

镜像名较长——先将其设为变量：

  IMG=harbor.baai.ac.cn/flagos-app/sglang0.5.18-sunrise-tangrt1.2.0:2.2.0-0.1.dev1_g3b94dae1f
  

无需工具包——直接使用 docker / podman link

启动交互式 shell：

  docker run --rm -it \
  --privileged \
  -v /dev:/dev \
  -e TANG_VISIBLE_DEVICES=all \
  $IMG bash
  

以默认设置启动应用：

  docker run --rm -it \
  --privileged \
  -v /dev:/dev \
  -e TANG_VISIBLE_DEVICES=all \
  $IMG
  

向启动器传参：

  docker run --rm -it \
  --privileged \
  -v /dev:/dev \
  -e TANG_VISIBLE_DEVICES=all \
  $IMG sglang-serve --model-path <path> --port 9000