On this page
应用镜像(application)
应用镜像构建在运行时镜像之上,把一个开箱即用的 AI 应用与 FlagOS 软件栈打包在一起。每个应用都按后端发布镜像,每个镜像都有独立的 页面,说明镜像引用、前置条件与启动方式。
应用镜像以通用厂商命名,不带芯片品牌(如 generic-12.8);基础镜像与运行时
镜像保留真实厂商名。每个页面「基于」一行指向该应用构建所用的运行时镜像,用的是
它的真实名称。
选择一个应用和后端,查看它的启动方式:
Megatron 训练
开箱即用的大模型训练环境,基于 Megatron-LM。镜像内已装好 FlagOS 版 megatron-core 与完整的 FlagOS 软件栈,在对应的加速卡上一条命令即可开始训练。
| 厂商 | 代码 | 后端 | 版本 |
|---|---|---|---|
| 昇腾 | ascend | cann8.5.0 | 0.17.1 |
| 昇腾 | ascend | cann8.5.0 | 0.18.2 |
| 昇腾 | ascend | cann8.5.0-910c | 0.17.1 |
| 昇腾 | ascend | cann8.5.0-910c | 0.18.2 |
| 昇腾 | ascend | cann9.0.0 | 0.17.1 |
| 昇腾 | ascend | cann9.0.0 | 0.18.2 |
| 昇腾 | ascend | cann9.0.0-910c | 0.17.1 |
| 昇腾 | ascend | cann9.0.0-910c | 0.18.2 |
| 寒武纪 | cambricon | neuware4.4.3 | 0.17.1 |
| 寒武纪 | cambricon | neuware4.7.2 | 0.17.1 |
| 寒武纪 | cambricon | neuware4.7.2 | 0.18.2 |
| 燧原 | enflame | tops1.10.6 | 0.17.1 |
| 燧原 | enflame | tops1.9.10 | 0.17.1 |
| 海光 | hygon | dtk26.04 | 0.17.1 |
| 海光 | hygon | dtk26.04 | 0.18.2 |
| 天数智芯 | iluvatar | corex4.4.0 | 0.17.1 |
| 天数智芯 | iluvatar | corex4.5.0 | 0.17.1 |
| 昆仑芯 | kunlunxin | xre5.37.1 | 0.17.1 |
| 沐曦 | metax | maca3.7.2.1 | 0.17.1 |
| 沐曦 | metax | maca3.8.1.3 | 0.17.1 |
| 沐曦 | metax | maca3.8.1.3 | 0.18.2 |
| 摩尔线程 | mthreads | musa4.3.6 | 0.17.1 |
| 摩尔线程 | mthreads | musa5.2.0 | 0.17.1 |
| 通用 | generic | 12.8 | 0.17.1 |
| 通用 | generic | 12.8 | 0.18.2 |
| 通用 | generic | 13.3 | 0.17.1 |
| 通用 | generic | 13.3 | 0.18.2 |
| 曦望 | sunrise | tangrt1.2.0 | 0.17.1 |
| 清微智能 | tsingmicro | tsm260610 | 0.17.1 |
Megatron 强化学习
开箱即用的强化学习环境,基于 Megatron-LM。镜像内已装好带强化学习支持的 FlagOS 版 megatron-core,无需自行搭建环境,即可在对应的加速卡上运行 GRPO 类训练。
| 厂商 | 代码 | 后端 | 版本 |
|---|---|---|---|
| 昇腾 | ascend | cann8.5.0 | 0.17.1 |
| 昇腾 | ascend | cann8.5.0-910c | 0.17.1 |
| 昇腾 | ascend | cann9.0.0 | 0.17.1 |
| 昇腾 | ascend | cann9.0.0-910c | 0.17.1 |
| 寒武纪 | cambricon | neuware4.4.3 | 0.17.1 |
| 寒武纪 | cambricon | neuware4.7.2 | 0.17.1 |
| 寒武纪 | cambricon | neuware4.7.2 | 0.18.2 |
| 燧原 | enflame | tops1.10.6 | 0.17.1 |
| 燧原 | enflame | tops1.9.10 | 0.17.1 |
| 海光 | hygon | dtk26.04 | 0.17.1 |
| 海光 | hygon | dtk26.04 | 0.18.2 |
| 天数智芯 | iluvatar | corex4.4.0 | 0.17.1 |
| 天数智芯 | iluvatar | corex4.5.0 | 0.17.1 |
| 昆仑芯 | kunlunxin | xre5.37.1 | 0.17.1 |
| 沐曦 | metax | maca3.7.2.1 | 0.17.1 |
| 沐曦 | metax | maca3.8.1.3 | 0.17.1 |
| 沐曦 | metax | maca3.8.1.3 | 0.18.2 |
| 摩尔线程 | mthreads | musa4.3.6 | 0.17.1 |
| 摩尔线程 | mthreads | musa5.2.0 | 0.17.1 |
| 通用 | generic | 12.8 | 0.17.1 |
| 通用 | generic | 12.8 | 0.18.2 |
| 通用 | generic | 13.3 | 0.17.1 |
| 通用 | generic | 13.3 | 0.18.2 |
| 曦望 | sunrise | tangrt1.2.0 | 0.17.1 |
| 清微智能 | tsingmicro | tsm260610 | 0.17.1 |
vLLM
开箱即用的大模型推理服务。镜像内已装好 vLLM 及其 FlagOS 插件与完整的 FlagOS 软件栈,在对应的加速卡上启动后即为 OpenAI 兼容的 API 服务。
| 厂商 | 代码 | 后端 | 版本 |
|---|---|---|---|
| 昇腾 | ascend | cann8.5.0 | 0.20.2 |
| 昇腾 | ascend | cann8.5.0 | 0.24.0 |
| 昇腾 | ascend | cann8.5.0-910c | 0.20.2 |
| 昇腾 | ascend | cann8.5.0-910c | 0.24.0 |
| 昇腾 | ascend | cann9.0.0 | 0.20.2 |
| 昇腾 | ascend | cann9.0.0 | 0.24.0 |
| 昇腾 | ascend | cann9.0.0-910c | 0.20.2 |
| 昇腾 | ascend | cann9.0.0-910c | 0.24.0 |
| 寒武纪 | cambricon | neuware4.4.3 | 0.20.2 |
| 寒武纪 | cambricon | neuware4.4.3 | 0.24.0 |
| 寒武纪 | cambricon | neuware4.7.2 | 0.20.2 |
| 寒武纪 | cambricon | neuware4.7.2 | 0.24.0 |
| 燧原 | enflame | tops1.10.6 | 0.20.2 |
| 燧原 | enflame | tops1.10.6 | 0.24.0 |
| 燧原 | enflame | tops1.9.10 | 0.20.2 |
| 燧原 | enflame | tops1.9.10 | 0.24.0 |
| 海光 | hygon | dtk26.04 | 0.20.2 |
| 海光 | hygon | dtk26.04 | 0.24.0 |
| 天数智芯 | iluvatar | corex4.4.0 | 0.20.2 |
| 天数智芯 | iluvatar | corex4.4.0 | 0.24.0 |
| 天数智芯 | iluvatar | corex4.5.0 | 0.20.2 |
| 天数智芯 | iluvatar | corex4.5.0 | 0.24.0 |
| 昆仑芯 | kunlunxin | xre5.37.1 | 0.20.2 |
| 昆仑芯 | kunlunxin | xre5.37.1 | 0.24.0 |
| 沐曦 | metax | maca3.7.2.1 | 0.20.2 |
| 沐曦 | metax | maca3.7.2.1 | 0.24.0 |
| 沐曦 | metax | maca3.8.1.3 | 0.20.2 |
| 沐曦 | metax | maca3.8.1.3 | 0.24.0 |
| 摩尔线程 | mthreads | musa4.3.6 | 0.20.2 |
| 摩尔线程 | mthreads | musa4.3.6 | 0.24.0 |
| 摩尔线程 | mthreads | musa5.2.0 | 0.20.2 |
| 摩尔线程 | mthreads | musa5.2.0 | 0.24.0 |
| 通用 | generic | 12.8 | 0.20.2 |
| 通用 | generic | 12.8 | 0.24.0 |
| 通用 | generic | 13.3 | 0.20.2 |
| 通用 | generic | 13.3 | 0.24.0 |
| 曦望 | sunrise | tangrt1.2.0 | 0.20.2 |
| 曦望 | sunrise | tangrt1.2.0 | 0.24.0 |
| 清微智能 | tsingmicro | tsm260610 | 0.20.2 |
| 清微智能 | tsingmicro | tsm260610 | 0.24.0 |
SGLang
开箱即用的大模型推理服务,内置结构化输出支持。镜像内已装好 SGLang 及其 FlagOS 插件与完整的 FlagOS 软件栈,在对应的加速卡上启动即可对外提供 API 服务。
| 厂商 | 代码 | 后端 | 版本 |
|---|---|---|---|
| 昇腾 | ascend | cann8.5.0 | 0.5.18 |
| 昇腾 | ascend | cann9.0.0 | 0.5.18 |
| 寒武纪 | cambricon | neuware4.4.3 | 0.5.18 |
| 寒武纪 | cambricon | neuware4.7.2 | 0.5.18 |
| 燧原 | enflame | tops1.10.6 | 0.5.18 |
| 燧原 | enflame | tops1.9.10 | 0.5.18 |
| 海光 | hygon | dtk26.04 | 0.5.18 |
| 天数智芯 | iluvatar | corex4.4.0 | 0.5.18 |
| 天数智芯 | iluvatar | corex4.5.0 | 0.5.18 |
| 昆仑芯 | kunlunxin | xre5.37.1 | 0.5.18 |
| 沐曦 | metax | maca3.7.2.1 | 0.5.18 |
| 沐曦 | metax | maca3.8.1.3 | 0.5.18 |
| 摩尔线程 | mthreads | musa4.3.6 | 0.5.18 |
| 摩尔线程 | mthreads | musa5.2.0 | 0.5.18 |
| 曦望 | sunrise | tangrt1.2.0 | 0.5.18 |