ArmSoM
← 所有故事

选择具有板载 AI 的 SBC:Raspberry Pi 用户应该检查什么

板载 NPU 可以消除对单独加速器的需求,前提是该模型与其工具配合使用。对于 ArmSoM 的 Rockchip 平台,在 TOPS 数字影响购买之前,模型转换和运行时支持属于板选择过程。

ArmSoM Sige5

ArmSoM Sige5

在提交硬件之前尝试模型

检查模型的运算符、输入形状和支持的转换路径。运行代表性输入并根据原始模型检查输出。成功的转换很有用,但准确性和完整的响应时间决定了应用程序是否可以使用它。在时序测量中保留 CPU 预处理和后处理。

计算推理的每个阶段

测量捕获、调整大小、标准化、数据传输、推理和结果处理。加速器可以缩短一个阶段,同时保持 CPU 绑定的预处理阶段不变。包括缓冲区和并发服务使用的内存。在相同模型精度和输出质量下将附加加速器与集成 NPU 进行比较,并保留 CPU 实现作为正确性参考。

ArmSoM Sige7s

ArmSoM Sige7s

根据您的要求进行选择

要求或情况

评估什么

决定详情

不支持的运算符

查看工具包支持

CPU 回退可能会改变延迟。

量化误差

评估代表性样本

不要只使用简单的演示图像。

推理速度高,应用慢

测量非 NPU 平台

端到端响应时间是产品指标。

示例设计

选择电路板之前先验证模型

获取一个小的代表性数据集并保存原始模型的输出。通过预期的 Rockchip 工具链转换模型,并将输出与应用程序的可接受错误进行比较。如果转换需要更改预处理或更换运算符,请记录下来。只有这样,推理时间比较才变得有用。这可以避免在主要功能上选择 NPU 板并随后发现应用程序依赖于不受支持的模型路径。

硬件和文档

Sige7s · RK3588S

RK3588S、6 TOPS NPU、千兆以太网和可拆卸 eMMC。尺寸:85 × 56 × 17 mm。更换 eMMC 之前请断开电源。

硬件文档 · 产品详情

Sige5 · RK3576

RK3576,四个 Cortex-A72 和四个 Cortex-A53 内核,6 TOPS NPU,双千兆以太网和 M.2 PCIe 2.1 x1。

硬件文档 · 产品详情

常见问题

所有 6 TOPS 板的速度都一样快吗?

不会。软件、模型结构、内存流量和管道设计会影响实际结果。

产品信息和支持

了解 Sige7s

联系 ArmSoM

来源

由 ArmSoM 使用以下文档编写。示例设计是建议,而不是测量的客户安装。

相关阅读