板载 NPU 可以消除对单独加速器的需求,前提是该模型与其工具配合使用。对于 ArmSoM 的 Rockchip 平台,在 TOPS 数字影响购买之前,模型转换和运行时支持属于板选择过程。

ArmSoM Sige5
在提交硬件之前尝试模型
检查模型的运算符、输入形状和支持的转换路径。运行代表性输入并根据原始模型检查输出。成功的转换很有用,但准确性和完整的响应时间决定了应用程序是否可以使用它。在时序测量中保留 CPU 预处理和后处理。
计算推理的每个阶段
测量捕获、调整大小、标准化、数据传输、推理和结果处理。加速器可以缩短一个阶段,同时保持 CPU 绑定的预处理阶段不变。包括缓冲区和并发服务使用的内存。在相同模型精度和输出质量下将附加加速器与集成 NPU 进行比较,并保留 CPU 实现作为正确性参考。

ArmSoM Sige7s
根据您的要求进行选择
要求或情况 | 评估什么 | 决定详情 |
不支持的运算符 | 查看工具包支持 | CPU 回退可能会改变延迟。 |
量化误差 | 评估代表性样本 | 不要只使用简单的演示图像。 |
推理速度高,应用慢 | 测量非 NPU 平台 | 端到端响应时间是产品指标。 |
示例设计
选择电路板之前先验证模型
获取一个小的代表性数据集并保存原始模型的输出。通过预期的 Rockchip 工具链转换模型,并将输出与应用程序的可接受错误进行比较。如果转换需要更改预处理或更换运算符,请记录下来。只有这样,推理时间比较才变得有用。这可以避免在主要功能上选择 NPU 板并随后发现应用程序依赖于不受支持的模型路径。
硬件和文档
Sige7s · RK3588S
RK3588S、6 TOPS NPU、千兆以太网和可拆卸 eMMC。尺寸:85 × 56 × 17 mm。更换 eMMC 之前请断开电源。
Sige5 · RK3576
RK3576,四个 Cortex-A72 和四个 Cortex-A53 内核,6 TOPS NPU,双千兆以太网和 M.2 PCIe 2.1 x1。
常见问题
所有 6 TOPS 板的速度都一样快吗?
不会。软件、模型结构、内存流量和管道设计会影响实际结果。
产品信息和支持
来源
由 ArmSoM 使用以下文档编写。示例设计是建议,而不是测量的客户安装。
