适用场景
手上有一批机器人操作数据(多视角相机视频、关节或末端位姿、动作序列、语言指令),想在昇腾 NPU 上把「世界模型 / 视觉-语言-动作模型」从数据到训练再到推理服务完整跑通。适用于预算和供应链上希望摆脱单一 GPU 路线、需要一个可复现落地流程的算法或运维团队。本文按「华为云 OBS 存数据 + 昇腾算力训练 + 容器化推理服务」这条主线走,云上云下自建集群都能照搬。
环境与前置条件
操作系统:昇腾服务器常用 openEuler 或 Ubuntu,具体支持的内核版本以昇腾官方兼容性列表为准,驱动、固件、CANN 三者版本必须配套。
软件栈:
- NPU 驱动与固件(宿主机安装)
- CANN toolkit(含 ATC 模型转换工具、HCCL 集合通信库、算子库)
- Python 3.8 及以上
- 深度学习框架:PyTorch + torch_npu,或 MindSpore,版本配套关系以官方文档当前版本为准
云侧资源:
- OBS 桶:存原始数据集、切分后的训练分片、checkpoint
- 昇腾算力的 ECS 或裸金属实例,或用 ModelArts 训练作业挂载昇腾资源池
- SWR 容器镜像服务:存放训练镜像和推理镜像
- CCE 云容器引擎:编排推理服务(单机验证时可省)
- LTS 日志服务 / AOM 监控(可选)
硬件建议:
- 训练:单机 8 卡起步,多机时节点间需要 RoCE 或 IB 网络,HCCL 走这张网
- 显存:世界模型的显存瓶颈主要在视频 token 数和时序长度上,先按小分辨率、短时序跑通再放大
- 磁盘:数据盘建议 TB 级 NVMe,视频解码是重 IO 操作;checkpoint 目录预留数百 GB
- 内存:主机侧解码和预取吃内存,建议不低于 512 GB
权限:OBS 桶读写、SWR 镜像推送、ECS 登录与 sudo。密钥类信息不要写进代码,走环境变量或密钥管理服务。
分步骤部署
第 1 步:算力环境自检
登录昇腾实例后先确认卡和驱动状态:
```bash
npu-smi info
```
预期输出是一张表格,列出每张卡的编号、芯片型号、显存占用、温度、功耗,状态为 OK。记下芯片型号(如 Ascend 910 系列的具体型号),后面 ATC 转换和算子编译要用到。
再看 CANN 安装位置并加载环境变量:
```bash
ls /usr/local/Ascend
source /usr/local/Ascend/ascend-toolkit/set_env.sh
echo $ASCEND_HOME_PATH
```
set_env.sh 的实际路径以安装位置为准。打印出 CANN 根目录即说明环境变量生效,建议把这行写进 ~/.bashrc。
第 2 步:准备训练容器
推荐用官方提供的 CANN + 框架基础镜像做底座,再用 Dockerfile 叠加自己的依赖,避免每次重装。启动容器时要把 NPU 设备透传进去:
```bash
docker run -it --name wm-train \
--device=/dev/davinci0 \
--device=/dev/davinci1 \
--device=/dev/davinci_manager \
--device=/dev/devmm_svm \
--device=/dev/hisi_hdc \
-v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
-v /data:/data \
-v /usr/local/Ascend/ascend-toolkit:/usr/local/Ascend/ascend-toolkit \
<你的基础镜像> /bin/bash
```
卡多时用 --device=/dev/davinci* 批量透传。容器内重新执行一次 source set_env.sh,再跑 npu-smi info 能正常显示,说明设备透传成功。
第 3 步:验证框架能识别 NPU
```bash
python -c "import torch, torch_npu; print(torch.npu.is_available()); print(torch.npu.device_count())"
```
预期输出 True 和卡数。如果输出 False 或 0,先回头检查驱动、CANN 环境变量和 /dev/davinci* 是否存在,不要急着查模型代码。
第 4 步:数据准备与格式统一
具身数据天然杂乱:不同机器人、不同帧率、不同相机数量。进训练前必须统一。建议每个 episode 一个目录:
```
dataset/
task_pick_cube/
episode_000001/
meta.json # 任务名、语言指令、帧率、相机内参
cam_front.mp4
cam_wrist.mp4
states.npy # 每帧关节角/末端位姿
actions.npy # 每帧动作(维度与真机对齐)
```
关键处理点:
- 时间对齐:以控制频率为基准重采样,视频帧和状态按最近邻或插值对齐
- 动作归一化:按数据集统计量做 min-max 或分位数归一化,统计量随数据一起保存
- episode 切分:按任务和场景划分训练集/验证集,同一场景不要跨集泄漏
- 落盘格式:大量小文件顺序读性能差,训练前转成 WebDataset 分片或 LMDB,按 shard 存储
写一个小的校验脚本,跑通再上传:
```python
import json, pathlib
root = pathlib.Path("/data/dataset")
eps = list(root.rglob("meta.json"))
print("episodes:", len(eps))
frames = sum(json.loads(p.read_text())["num_frames"] for p in eps)
print("total frames:", frames)
```
上传到 OBS:
```bash
obsutil config -i=<AK> -k=<SK> -e=<endpoint>
obsutil cp -r -f /data/dataset obs://your-bucket/embodied/raw/
obsutil ls -s obs://your-bucket/embodied/raw/
```
最后一条能看到对象数量和总大小,与本地一致即可。
第 5 步:单机单卡先跑通一个 batch
在扩到 8 卡之前,先用 1 卡、小分辨率、短时序跑 20 步,确认数据管线、前向、反向、优化器都没问题:
```python
import torch, torch_npu
torch.npu.set_device("npu:0")
model = build_model().to("npu")
opt = torch.optim.AdamW(model.parameters(), lr=1e-4)
for step, batch in enumerate(loader):
video = batch["video"].to("npu", non_blocking=True)
loss = model(video, batch["action"].to("npu"))
loss.backward(); opt.step(); opt.zero_grad()
print(step, float(loss))
```
这一步失败通常和数据 shape、dtype 有关,比在 8 卡上排错省时间。
第 6 步:启动分布式训练
单机 8 卡用 torchrun,每张卡对应一个进程:
```bash
torchrun --nproc_per_node=8 --master_port=29500 train.py \
--data-root obs://your-bucket/embodied/sharded \
--ckpt-dir /data/ckpt \
--batch-size 4 --grad-accum 4 \
--amp --num-workers 8
```
训练脚本里按 local_rank 绑卡:
```python
import os, torch, torch_npu
local_rank = int(os.environ["LOCAL_RANK"])
torch.npu.set_device(f"npu:{local_rank}")
```
多机训练时,节点间通信靠 HCCL,需要正确的 rank table 和网卡配置。网卡名用以下变量指定,避免 HCCL 选错网卡导致握手超时:
```bash
export HCCL_SOCKET_IFNAME=<业务网卡名>
```
混合精度在 NPU 上通过 torch.npu.amp 开启,视频类模型的显存压力大,可以配合梯度累积把等效 batch 撑起来,同时开启AI 词典:梯度检查点">梯度检查点换显存。具体支持程度以所用框架版本的官方说明为准。
启动成功的标志是:日志里每个 rank 都打印了初始化信息,npu-smi info 能看到 8 张卡显存被占满、利用率在波动,loss 在前几十步正常下降。
第 7 步:checkpoint 保存与回传
训练脚本里按固定步数存盘,命名带 step 数,方便回滚:
```bash
训练中定期执行,或写成脚本由训练进程调用
obsutil cp -r -f /data/ckpt obs://your-bucket/embodied/ckpt/
```
OBS 上建议按 ckpt/<实验名>/<step>/ 分层,并把训练配置、数据切分文件、代码 commit id 一起存进去,否则两周后没人说得清哪个权重对应哪份数据。
第 8 步:模型导出与转换
PyTorch 权重先导出为 ONNX,再用 ATC 转换成昇腾的 om 格式:
```bash
atc --model=world_model.onnx \
--framework=5 \
--output=world_model \
--input_shape="video:1,16,3,224,224;action:1,16,7" \
--soc_version=<npu-smi info 中显示的芯片型号> \
--precision_mode=allow_mix_precision \
--log=error
```
--soc_version 必须与实际芯片型号一致,型号字符串以官方文档为准。动态 batch 或变长时序需要显式声明 dynamic shape 参数,否则转换会按固定 shape 固化。转换成功会生成 world_model.om 文件。
第 9 步:部署推理服务
单机验证时用官方推理引擎直接加载 om,对外暴露 HTTP 接口;生产环境把镜像推到 SWR,用 CCE 部署成多副本服务:
```bash
docker build -t swr.<region>.myhuaweicloud.com/<org>/wm-infer:<tag> .
docker push swr.<region>.myhuaweicloud.com/<org>/wm-infer:<tag>
```
容器启动时同样透传 --device=/dev/davinci*,把 om 模型和归一化统计量通过 OBS 挂载或镜像内打包注入。服务侧做 /healthz 健康检查和 /predict 推理接口,输入为观测帧和指令,输出为预测的未来帧或动作序列。
验证部署是否成功
按层验证,出问题好定位:
```bash
1. 硬件层
npu-smi info # 卡数正确、状态 OK、显存有占用
2. 框架层
python -c "import torch, torch_npu; print(torch.npu.is_available(), torch.npu.device_count())"
预期 True 8
3. 数据层
python check_data.py # 打印 episode 数、总帧数、一个 batch 的 shape
预期 shape 与配置一致,无 NaN,dtype 为 float16 或 bfloat16
4. 训练层
tail -f train.log # loss 逐步下降,无 HCCL 报错,npu-smi 利用率有波动
5. 推理层
curl -s http://127.0.0.1:8080/healthz
预期 {"status":"ok"}
curl -s -X POST http://127.0.0.1:8080/predict -d @sample.json -H "Content-Type: application/json"
预期返回动作序列或帧张量的 shape 与导出时声明的一致
```
推理侧还要看首包时延和单卡吞吐,用压测工具跑几十个请求,确认显存不随时间增长(无泄漏)。
常见报错与解决
报错信息:ModuleNotFoundError: No module named 'torch_npu' 或 torch.npu.is_available() 返回 False
→ 原因:容器内没有加载 CANN 环境变量,或者宿主机驱动没装、NPU 设备没透传进容器
→ 解决:
```bash
source /usr/local/Ascend/ascend-toolkit/set_env.sh
ls -l /dev/davinci*
npu-smi info
```
报错信息:HCCL init failed / collective communication timeout(多卡或多机启动时)
→ 原因:多机缺少正确的 rank table,或 HCCL 选了管理网卡、端口被防火墙拦截
→ 解决:检查 rank table 配置文件中的 IP 与实际一致,指定业务网卡,放通对应端口:
```bash
export HCCL_SOCKET_IFNAME=<业务网卡名>
systemctl stop firewalld # 测试环境临时关闭,生产按规范放通端口
```
报错信息:NPU out of memory / ACL_ERROR_RT_MEMORY_ALLOCATION
→ 原因:视频帧数或分辨率过大、batch 太大,或前一步的进程没退干净占着显存
→ 解决:先用 npu-smi info 确认没有残留进程,再降低单卡 batch 并配合梯度累积,开启梯度检查点:
```bash
pkill -f train.py
配置中改为 batch_size=1, grad_accum=16, frames=8, 开启 recompute
```
报错信息:ATC 转换失败,提示 unsupported op 或 shape 不匹配
→ 原因:模型里有昇腾不支持的算子,或输入是动态 shape 但没声明
→ 解决:先在 ONNX 侧做算子替换或简化(去掉不必要的高阶索引、动态控制流),再用 dynamic shape 参数重新转换:
```bash
atc --model=world_model.onnx --framework=5 --output=world_model \
--input_shape="video:-1,16,3,224,224" \
--dynamic_dims="1,4,8;1,4,8" \
--soc_version=<芯片型号>
```
报错信息:obsutil 返回 403 或 AccessDenied
→ 原因:AK/SK 过期、桶策略未授权,或 endpoint 与桶所在地域不匹配
→ 解决:重新配置并测试连通性:
```bash
obsutil config -i=<AK> -k=<SK> -e=<桶所在地域的 endpoint>
obsutil ls obs://your-bucket/
```
后续维护
备份:OBS 桶开版本控制,关键 checkpoint 做跨区域复制;把数据集切分文件、归一化统计量、训练配置、代码版本号与权重绑定存放,缺一项都会导致复现困难。om 模型文件同样要留存对应的 ONNX 和转换参数。
升级:驱动、固件、CANN、torch_npu 是强配套关系,不能单独升级某一个。升级前先在测试节点用同一份数据和配置跑通一个短训练和一次推理,确认无算子告警后再滚动到生产。镜像保留旧 tag,出问题能一键回滚。
日志与监控:训练侧把日志按 rank 分文件落盘并定期同步到 LTS,重点监控 loss 异常、通信超时和卡掉线;推理侧监控 QPS、P99 时延、单卡显存与温度,设置阈值告警。npu-smi 的采集结果可以接入云监控做趋势图。
数据回流:把线上推理失败的案例(预测帧与真实帧偏差大、动作执行失败)按 episode 回流入数据集,定期增量训练。数据集版本和模型版本要双向可查,否则几轮之后无法判断效果变化来自数据还是来自模型。
成本与容量:训练任务用按需实例时设置好自动停止,避免空闲占卡;checkpoint 只保留最近若干步和里程碑版本,历史权重归档到低频存储。具体计费与配额以官方页面为准。
