应用镜像构建在运行时镜像之上,把一个开箱即用的 AI 应用与 FlagOS 软件栈打包在一起。每个应用都按后端发布镜像,每个镜像都有独立的 页面,说明镜像引用、前置条件与启动方式。

应用镜像以通用厂商命名,不带芯片品牌(如 generic-12.8);基础镜像与运行时 镜像保留真实厂商名。每个页面「基于」一行指向该应用构建所用的运行时镜像,用的是 它的真实名称。

选择一个应用和后端,查看它的启动方式:

Megatron 训练

开箱即用的大模型训练环境,基于 Megatron-LM。镜像内已装好 FlagOS 版 megatron-core 与完整的 FlagOS 软件栈,在对应的加速卡上一条命令即可开始训练。

厂商代码后端版本
昇腾ascendcann8.5.00.17.1
昇腾ascendcann8.5.00.18.2
昇腾ascendcann8.5.0-910c0.17.1
昇腾ascendcann8.5.0-910c0.18.2
昇腾ascendcann9.0.00.17.1
昇腾ascendcann9.0.00.18.2
昇腾ascendcann9.0.0-910c0.17.1
昇腾ascendcann9.0.0-910c0.18.2
寒武纪cambriconneuware4.4.30.17.1
寒武纪cambriconneuware4.7.20.17.1
寒武纪cambriconneuware4.7.20.18.2
燧原enflametops1.10.60.17.1
燧原enflametops1.9.100.17.1
海光hygondtk26.040.17.1
海光hygondtk26.040.18.2
天数智芯iluvatarcorex4.4.00.17.1
天数智芯iluvatarcorex4.5.00.17.1
昆仑芯kunlunxinxre5.37.10.17.1
沐曦metaxmaca3.7.2.10.17.1
沐曦metaxmaca3.8.1.30.17.1
沐曦metaxmaca3.8.1.30.18.2
摩尔线程mthreadsmusa4.3.60.17.1
摩尔线程mthreadsmusa5.2.00.17.1
通用generic12.80.17.1
通用generic12.80.18.2
通用generic13.30.17.1
通用generic13.30.18.2
曦望sunrisetangrt1.2.00.17.1
清微智能tsingmicrotsm2606100.17.1

Megatron 强化学习

开箱即用的强化学习环境,基于 Megatron-LM。镜像内已装好带强化学习支持的 FlagOS 版 megatron-core,无需自行搭建环境,即可在对应的加速卡上运行 GRPO 类训练。

厂商代码后端版本
昇腾ascendcann8.5.00.17.1
昇腾ascendcann8.5.0-910c0.17.1
昇腾ascendcann9.0.00.17.1
昇腾ascendcann9.0.0-910c0.17.1
寒武纪cambriconneuware4.4.30.17.1
寒武纪cambriconneuware4.7.20.17.1
寒武纪cambriconneuware4.7.20.18.2
燧原enflametops1.10.60.17.1
燧原enflametops1.9.100.17.1
海光hygondtk26.040.17.1
海光hygondtk26.040.18.2
天数智芯iluvatarcorex4.4.00.17.1
天数智芯iluvatarcorex4.5.00.17.1
昆仑芯kunlunxinxre5.37.10.17.1
沐曦metaxmaca3.7.2.10.17.1
沐曦metaxmaca3.8.1.30.17.1
沐曦metaxmaca3.8.1.30.18.2
摩尔线程mthreadsmusa4.3.60.17.1
摩尔线程mthreadsmusa5.2.00.17.1
通用generic12.80.17.1
通用generic12.80.18.2
通用generic13.30.17.1
通用generic13.30.18.2
曦望sunrisetangrt1.2.00.17.1
清微智能tsingmicrotsm2606100.17.1

vLLM

开箱即用的大模型推理服务。镜像内已装好 vLLM 及其 FlagOS 插件与完整的 FlagOS 软件栈,在对应的加速卡上启动后即为 OpenAI 兼容的 API 服务。

厂商代码后端版本
昇腾ascendcann8.5.00.20.2
昇腾ascendcann8.5.00.24.0
昇腾ascendcann8.5.0-910c0.20.2
昇腾ascendcann8.5.0-910c0.24.0
昇腾ascendcann9.0.00.20.2
昇腾ascendcann9.0.00.24.0
昇腾ascendcann9.0.0-910c0.20.2
昇腾ascendcann9.0.0-910c0.24.0
寒武纪cambriconneuware4.4.30.20.2
寒武纪cambriconneuware4.4.30.24.0
寒武纪cambriconneuware4.7.20.20.2
寒武纪cambriconneuware4.7.20.24.0
燧原enflametops1.10.60.20.2
燧原enflametops1.10.60.24.0
燧原enflametops1.9.100.20.2
燧原enflametops1.9.100.24.0
海光hygondtk26.040.20.2
海光hygondtk26.040.24.0
天数智芯iluvatarcorex4.4.00.20.2
天数智芯iluvatarcorex4.4.00.24.0
天数智芯iluvatarcorex4.5.00.20.2
天数智芯iluvatarcorex4.5.00.24.0
昆仑芯kunlunxinxre5.37.10.20.2
昆仑芯kunlunxinxre5.37.10.24.0
沐曦metaxmaca3.7.2.10.20.2
沐曦metaxmaca3.7.2.10.24.0
沐曦metaxmaca3.8.1.30.20.2
沐曦metaxmaca3.8.1.30.24.0
摩尔线程mthreadsmusa4.3.60.20.2
摩尔线程mthreadsmusa4.3.60.24.0
摩尔线程mthreadsmusa5.2.00.20.2
摩尔线程mthreadsmusa5.2.00.24.0
通用generic12.80.20.2
通用generic12.80.24.0
通用generic13.30.20.2
通用generic13.30.24.0
曦望sunrisetangrt1.2.00.20.2
曦望sunrisetangrt1.2.00.24.0
清微智能tsingmicrotsm2606100.20.2
清微智能tsingmicrotsm2606100.24.0

SGLang

开箱即用的大模型推理服务,内置结构化输出支持。镜像内已装好 SGLang 及其 FlagOS 插件与完整的 FlagOS 软件栈,在对应的加速卡上启动即可对外提供 API 服务。

厂商代码后端版本
昇腾ascendcann8.5.00.5.18
昇腾ascendcann9.0.00.5.18
寒武纪cambriconneuware4.4.30.5.18
寒武纪cambriconneuware4.7.20.5.18
燧原enflametops1.10.60.5.18
燧原enflametops1.9.100.5.18
海光hygondtk26.040.5.18
天数智芯iluvatarcorex4.4.00.5.18
天数智芯iluvatarcorex4.5.00.5.18
昆仑芯kunlunxinxre5.37.10.5.18
沐曦metaxmaca3.7.2.10.5.18
沐曦metaxmaca3.8.1.30.5.18
摩尔线程mthreadsmusa4.3.60.5.18
摩尔线程mthreadsmusa5.2.00.5.18
曦望sunrisetangrt1.2.00.5.18