海鸥派异构算力(NPU/DSP)使用指南
海鸥派主控 SS928(SD3403V100/Hi3403V100)除四核 Cortex-A55 外,还集成 NNN、SVP_NPU、双核 Vision Q6 DSP、SVP 视频加速引擎和 RISC-V MCU。 这些单元使用不同的驱动、用户态库和工具链,不能互相替代。本文给出 各单元的用途、核心参数、内存/驱动位置和基本开发流程。
一、异构算力概览
单元 |
用途 |
软件接口 |
说明 |
|---|---|---|---|
Cortex-A55 x4 |
通用控制、MPP 媒体流水线、后处理 |
Linux 用户态 |
主 CPU,负责调度和 CPU 后处理 |
NNN(dlite) |
通用神经网络推理 |
AscendCL |
支持 INT4/INT8/FP16,适合 ONNX/Caffe/TensorFlow 模型 |
SVP_NPU(dpico) |
视觉神经网络推理 |
|
只支持 INT8/INT16,开销低,适合检测/分类 |
Vision Q6 DSP x2 |
传统 CV、信号处理、几何/深度计算 |
|
Cadence Tensilica IP;定制算法需要 DSP 工具链 |
SVP 引擎 |
IVE 图像预处理、KCF 跟踪、DPU 深度/匹配、MAU 矩阵 |
MPP MPI( |
硬件加速模块,不需要单独模型 |
RISC-V MCU |
实时控制、LiteOS |
|
与 Linux 通过 IPCM 共享内存通信 |
二、核心参数
参数 |
数值 |
说明 |
|---|---|---|
NPU 总算力 |
10.4 TOPS INT8 |
板卡口径为 NNN 4.8T + SVP_NNN 5.6T;部分公开资料只写 NN 4T |
NNN |
4.8 TOPS INT8 |
支持 INT4/INT8/FP16;使用 AscendCL |
SVP_NPU |
5.6 TOPS INT8 |
仅支持 INT8/INT16;使用 svp_acl |
DSP |
2 x Vision Q6 |
每核 32KB I-Cache、32KB D-Cache、32KB IRAM、320KB DRAM |
DSP 预留内存 |
62 MiB @ |
|
MCU |
32bit RISC-V @500MHz |
192 MiB @ |
MMZ |
约 1792 MiB(8GB 板) |
NPU/媒体内存池,起始 |
NPU、DSP 和 MCU 使用独立 carveout,Linux 通过 mem=6144M 使用其余
内存。完整内存布局和 eMMC/启动流程见 海鸥派系统架构、启动流程与内存/存储布局。
三、驱动与设备节点
kernel5 的 S90AutoRun 执行 /ko/load_ss928v100 -i,与异构算力
相关的加载项如下:
# NNN
insmod npu/ot_npu_device.ko
insmod npu/ot_npu_aicpu.ko
insmod npu/ot_npu_dfx.ko
insmod npu/ot_npu_tsfw.ko
# SVP_NPU
insmod svp_npu/ot_svp_npu.ko
# DSP
insmod ot_dsp.ko
设备节点和用户态库:
单元 |
设备节点/库 |
说明 |
|---|---|---|
NNN |
|
驱动为 4 个 |
SVP_NPU |
|
|
DSP |
|
使用 |
自检命令:
lsmod | grep -E 'npu|svp|dsp'
ls -l /dev/svp_npu /dev/dsp
ls /usr/lib64/npu /usr/lib64/svp_npu
dmesg | grep -Ei 'npu|svp|dsp'
设备节点默认只有 root 可访问。kernel6 的
bsp/meta-hisilicon/recipes-bsp/ss928/files/load_sdk_driver 目前只加载
ot_svp_npu.ko,NNN 和 DSP 模块不会自动加载,使用前需要确认或补充
加载脚本。
对应设备树节点位于
bsp/meta-hisilicon/recipes-kernel/linux/files/dtbs/ss928-pi.dts:
npu@0x14000000:NNN 的 NPU top/HTWS/AICore 和 CRG。svp_npu@0x15000000:SVP_NPU,与 PQP 共用中断。dsp@0x16110000:DSP0/DSP1。smmu_npu@14040000、svm_npu@14020000:NNN 使用的 SMMU/SVM。
这些 carveout 在 Linux 启动前已经预留,用户态不要按普通内存直接读写。
如果 SVP_NPU 样例报 open /dev/svp_npu err,先确认
ot_svp_npu.ko 已加载、/dev/svp_npu 存在。
四、NNN(dlite)开发流程
NNN 使用 AscendCL 接口,模型格式为 .om,适合通用 ONNX/Caffe/
TensorFlow 模型。
4.1 模型转换
在 x86 主机安装厂商 SDK 中的 NNN/CANN 工具链(例如
Ascend-cann-toolkit_5.20.t6.2.b060_linux-x86_64.run),然后使用
atc 将模型转换为 .om:
source /usr/local/Ascend/ascend-toolkit/latest/.../bin/setenv.bash
atc --model=yolov8n.onnx --framework=5 --output=yolov8n ...
INT8 量化通常配合 AMCT 做校准。具体 --soc_version、--input_shape
和 --precision_mode 以 SDK 中对应版本的 NNN 文档为准。
4.2 交叉编译
头文件来自 hieulerpi1-user-driver-dev 或 SDK sysroot:
aarch64-openeuler-linux-gnu-g++ app.cpp \
-I<sysroot>/usr/include/npu \
-L<sysroot>/usr/lib64/npu \
-lascendcl -lstdc++ -lpthread -ldl -lrt -lm
4.3 运行时流程
#include "npu/acl.h"
#include "npu/acl_mdl.h"
aclInit(NULL);
aclrtSetDevice(0);
uint32_t model_id;
aclmdlLoadFromFile("/root/model.om", &model_id);
aclmdlDesc *desc = aclmdlCreateDesc();
aclmdlGetDesc(desc, model_id);
size_t in_size = aclmdlGetInputSizeByIndex(desc, 0);
size_t out_size = aclmdlGetOutputSizeByIndex(desc, 0);
void *in_dev = NULL;
void *out_dev = NULL;
aclrtMalloc(&in_dev, in_size, ACL_MEM_MALLOC_HUGE_FIRST);
aclrtMalloc(&out_dev, out_size, ACL_MEM_MALLOC_HUGE_FIRST);
aclmdlDataset *input = aclmdlCreateDataset();
aclmdlDataset *output = aclmdlCreateDataset();
aclmdlAddDatasetBuffer(input, aclCreateDataBuffer(in_dev, in_size));
aclmdlAddDatasetBuffer(output, aclCreateDataBuffer(out_dev, out_size));
aclrtMemcpy(in_dev, in_size, host_in, in_size,
ACL_MEMCPY_HOST_TO_DEVICE);
aclmdlExecute(model_id, input, output);
aclrtMemcpy(host_out, out_size, out_dev, out_size,
ACL_MEMCPY_DEVICE_TO_HOST);
aclmdlDestroyDataset(input);
aclmdlDestroyDataset(output);
aclmdlUnload(model_id);
aclFinalize();
运行前设置库路径:
export LD_LIBRARY_PATH=/usr/lib64/npu:$LD_LIBRARY_PATH
export LD_PRELOAD=/usr/lib64/npu/libascend_protobuf.so
LD_PRELOAD 是当前镜像的规避项,原因见“八、已上板验证与已知问题”。
4.4 样例与限制
NNN 样例和模型转换工具位于厂商 SDK 的 NNN_PC/CANN 包中,当前镜像
默认只安装运行库,不包含 NNN 样例、头文件和 .om 模型。NNN 支持
INT4/INT8/FP16,但模型必须由与板上 runtime 匹配的工具链转换。
五、SVP_NPU(dpico)开发流程
SVP_NPU 使用 svp_acl 接口,模型同样为 .om,但只支持
INT8/INT16,适合视觉检测/分类等定点模型。
5.1 模型转换
使用厂商 SDK 中的 SVP_NNN 工具链/ATC 将 ONNX/Caffe 模型转换为
INT8/INT16 的 .om。SVP_NPU 不支持 NNN 的 INT4/FP16 路径。
5.2 交叉编译
aarch64-openeuler-linux-gnu-g++ app.cpp \
-I<sysroot>/usr/include \
-L<sysroot>/usr/lib64/svp_npu \
-lsvp_acl -lprotobuf-c -lsecurec \
-lpthread -ldl -lrt -lm
5.3 运行时流程
#include "svp_npu/svp_acl.h"
#include "svp_npu/svp_acl_rt.h"
#include "svp_npu/svp_acl_mdl.h"
svp_acl_init(NULL);
svp_acl_rt_set_device(0);
svp_acl_rt_create_context(&ctx, 0);
svp_acl_rt_create_stream(&stream);
void *model_mem = NULL;
svp_acl_rt_malloc_cached(&model_mem, model_size,
SVP_ACL_MEM_MALLOC_NORMAL_ONLY);
/* 读取 .om 到 model_mem 后刷新 cache */
svp_acl_rt_mem_flush(model_mem, model_size);
uint32_t model_id;
svp_acl_mdl_load_from_mem(model_mem, model_size, &model_id);
svp_acl_mdl_desc *desc = svp_acl_mdl_create_desc();
svp_acl_mdl_get_desc(desc, model_id);
svp_acl_mdl_dataset *input = svp_acl_mdl_create_dataset();
svp_acl_mdl_dataset *output = svp_acl_mdl_create_dataset();
/*
* 对每路输入/输出:
* 1. svp_acl_mdl_get_input/output_size_by_index() 获取 size
* 2. svp_acl_rt_malloc_cached() 申请 buffer
* 3. svp_acl_create_data_buffer() 创建 data buffer
* 4. svp_acl_mdl_add_dataset_buffer() 加入 dataset
*/
/* 拷贝图像到输入 buffer 后刷新 cache */
svp_acl_mdl_execute(model_id, input, output);
/* 读取输出前刷新输出 buffer cache,再做后处理 */
运行环境:
export LD_LIBRARY_PATH=/usr/lib64/svp_npu:/usr/lib64:$LD_LIBRARY_PATH
5.4 输入输出注意事项
用
svp_acl_mdl_get_input_dims、svp_acl_mdl_get_input_size_by_index和svp_acl_mdl_get_input_default_stride确认尺寸、类型和 stride。视觉模型的第一路输入通常是 YUV420SP 或 NCHW UINT8 图像,由 VPSS/VGS 等 MPP 模块产出。
检测模型可能带有额外的运行时/工作缓冲区输入,不能只按“一路图像 输入”处理;应遍历
svp_acl_mdl_get_num_inputs返回的所有输入。输出格式常见为 ND/NCHW,需要按模型后处理逻辑解析 stride 和维度。
5.5 样例
SDK 自带 SVP_NPU 样例:
smp/a55_linux/mpp/sample/svp/svp_npu/
├── data/model/{resnet50,yolov5,yolov7,yolov8,lstm,rfcn}.om
├── sample_svp_npu/sample_svp_npu_process.c
└── sample_svp_npu_main.c
编译后运行:
./sample_svp_npu_main 0 # resnet50
./sample_svp_npu_main 1 # resnet50 多线程
./sample_svp_npu_main 3 # lstm
./sample_svp_npu_main 4 # rfcn
海鸥派 hieuler_component_ai 的
component/common/model_impl.cpp 也使用同一套接口加载并执行
.om,可作为实际工程参考。
六、DSP(Vision Q6)开发流程
DSP 是双核 Cadence Tensilica Vision Q6,适合深度转激光、滤波、几何 变换、光流等传统 CV/信号处理算法,不用于神经网络推理。
6.1 固件
每个 DSP 核需要加载 4 个固件文件:
/root/dsp_bin/dsp0/ot_sram.bin
/root/dsp_bin/dsp0/ot_iram0.bin
/root/dsp_bin/dsp0/ot_dram0.bin
/root/dsp_bin/dsp0/ot_dram1.bin
dsp1 目录结构相同。DSP 固件由 Cadence Xtensa 工具链编译,公开
样例只提供 .bin,不包含 DSP 源码;自定义 DSP 算子需要厂商 DSP
开发包。
6.2 ARM 侧加载与 RPC
#include "ss_mpi_dsp.h"
#include "ot_common_dsp.h"
ss_mpi_svp_dsp_power_on(OT_SVP_DSP_ID_0);
ss_mpi_svp_dsp_load_bin("/root/dsp_bin/dsp0/ot_iram0.bin",
OT_SVP_DSP_MEM_TYPE_IRAM_DSP_0);
ss_mpi_svp_dsp_load_bin("/root/dsp_bin/dsp0/ot_sram.bin",
OT_SVP_DSP_MEM_TYPE_SYS_DDR_DSP_0);
ss_mpi_svp_dsp_load_bin("/root/dsp_bin/dsp0/ot_dram0.bin",
OT_SVP_DSP_MEM_TYPE_DRAM_0_DSP_0);
ss_mpi_svp_dsp_load_bin("/root/dsp_bin/dsp0/ot_dram1.bin",
OT_SVP_DSP_MEM_TYPE_DRAM_1_DSP_0);
ss_mpi_svp_dsp_enable_core(OT_SVP_DSP_ID_0);
ot_svp_dsp_msg msg = {0};
msg.cmd = OT_SVP_DSP_CMD_DEPTH_TO_LASER;
msg.body = msg_phy_addr;
msg.body_len = msg_size;
ot_svp_dsp_handle handle;
ss_mpi_svp_dsp_rpc(&handle, &msg, OT_SVP_DSP_ID_0,
OT_SVP_DSP_PRI_0);
td_bool finish = TD_FALSE;
while (ss_mpi_svp_dsp_query(OT_SVP_DSP_ID_0, handle,
&finish, TD_TRUE)
== OT_ERR_SVP_DSP_QUERY_TIMEOUT) {
usleep(100);
}
消息体通过 MMZ 物理地址传递。ARM 写入后、DSP 读取前需要
ss_mpi_sys_flush_cache;DSP 写完后、ARM 读取前同样需要刷新
cache。
6.3 样例
hieuler_dsp_sample 提供深度图转激光扫描样例:
hieuler_dsp_sample/depth_to_laser_without_ground/
├── dsp_bin/dsp0/{ot_sram,ot_iram0,ot_dram0,ot_dram1}.bin
├── dsp_bin/dsp1/...
└── arm_code/ros2_astra_camera/.../point_cloud_xyz.cpp
该样例加载 DSP0 固件后,通过
OT_SVP_DSP_CMD_DEPTH_TO_LASER 命令完成深度图到激光数据的转换。
七、SVP 视频加速引擎
SVP 引擎中的 IVE、KCF、DPU、MAU 等模块通过 MPP MPI 使用,不需要 单独的模型或固件:
IVE:图像预处理、滤波、CSC、跟踪等。
KCF:目标跟踪。
DPU:双目深度/匹配。
MAU:矩阵计算加速。
对应内核模块为 ot_ive.ko、ot_dpu_rect.ko、
ot_dpu_match.ko、ot_mau.ko等,由 load_ss928v100 加载。
八、选型建议
需求 |
建议 |
|---|---|
PyTorch/ONNX 通用模型,需要 FP16/INT4 |
NNN + AscendCL |
视觉检测/分类,只要 INT8/INT16,希望低开销 |
SVP_NPU + svp_acl |
深度转激光、滤波、几何/传统 CV |
DSP |
图像缩放/色彩转换/跟踪/双目深度 |
SVP 引擎(IVE/KCF/DPU) |
实时控制、低功耗协处理 |
RISC-V MCU + LiteOS |
九、已上板验证与已知问题
在运行 5.10 内核的海鸥派上已完成以下验证:
项目 |
结果 |
说明 |
|---|---|---|
NNN 驱动/设备 |
通过 |
|
NNN AscendCL 初始化 |
通过 |
需预加载旧版 protobuf,见下文 |
SVP_NPU 驱动/设备 |
通过 |
|
SVP_NPU 模型推理 |
通过 |
|
DSP 电源控制 |
通过 |
|
DSP 算法级 RPC |
未验证 |
板上未部署 |
NNN 模型推理 |
未验证 |
本地没有 NNN 格式 |
SVP_NPU 实测模型信息:
inputs=3 outputs=3
in[0] 1,3,384,640 UINT8 NCHW size=368640
in[1] 1,1,1,52 FLOAT size=208
in[2] 1,1,1,835584 FLOAT size=3342336
out[0] 1,240,5 FLOAT
out[1] 1,960,5 FLOAT
out[2] 1,3840,5 FLOAT
execute=0
已知问题:
NNN protobuf ABI 不一致:当前镜像的
libgraph.so需要旧 ABI 符号,但libascend_protobuf.so.3.13.0.0只导出 C++11 ABI 符号, 直接运行 NNN 程序会报undefined symbol。规避方式:export LD_PRELOAD=/usr/lib64/npu/libascend_protobuf.so export LD_LIBRARY_PATH=/usr/lib64/npu:$LD_LIBRARY_PATH
长期修复需要调整
hieulerpi1-user-driver中 protobuf 库的打包/ 链接关系。``/tmp`` 为 noexec:测试程序放到
/tmp会报Permission denied,应放在/root等可执行分区。NNN 初始化时的 CMA 告警:dmesg 可能出现
cma: cma_alloc: alloc failed,当前不影响初始化;跑大模型时 如果出现内存错误,需要检查 CMA/MMZ 预留。当前镜像不含样例和头文件:默认只安装运行库,SVP_NPU/NNN 样例、
.om模型和/usr/include/npu、/usr/include/svp_npu需要从 SDK 或-dev包获取。kernel6 加载差异:kernel6 的
load_sdk_driver目前只加载ot_svp_npu.ko;NNN 和 DSP 需要额外确认模块并补充加载。
十、快速自检
# 驱动与设备
lsmod | grep -E 'npu|svp|dsp'
ls -l /dev/svp_npu /dev/dsp
# SVP_NPU 运行库
ls /usr/lib64/svp_npu
# NNN 运行库
ls /usr/lib64/npu
# DSP 运行库
ls -l /usr/lib64/libss_dsp.so
# 重新加载 BSP 模块(会中断摄像头/显示,空闲时执行)
cd /ko && ./load_ss928v100 -a