ArmSoM
← 所有故事

RKNN 还是 CPU 运行时?为您的 ARM SBC 选择推理路径

即使 RKNN 路径可用,CPU 推理也是有用的基线。它有助于显示转换是否会改变准确性以及加速是否会改善应用程序的总响应时间。孤立内核中的最大收益可能并不是用户的最大收益。

ArmSoM Sige5

ArmSoM Sige5

使用CPU路径作为参考

通过原始模型和转换后的版本运行相同的输入。在比较时间之前比较输出。包括应用测量中的预处理、后处理和数据移动。如果模型包含不受支持的操作,请记录它们的执行位置以及它们增加的时间。

将转换作为工程步骤进行评估

查看当前RKNN目标支持和型号示例。检查量化和操作员行为,然后将输出与参考进行比较。仅当质量保持可接受且数据移动不消耗节省时,较短的推理时间才有用。将转换设置与模型工件一起保留。

选择可维护的版本

对于 Sige5 或 Sige7,引脚兼容的工具包、运行时和驱动程序版本。决定如何转换、测试和回滚模型更新。如果小型 CPU 模型已经满足要求,则额外的加速可能不值得进行集成工作。如果 CPU 因并发服务而过载,则即使原始吞吐量不是主要目标,NPU 路径也可能会释放资源。

ArmSoM Sige7

ArmSoM Sige7

根据您的要求进行选择

要求或情况

评估什么

决定详情

CPU baseline

参考精度和计时

简化初步诊断。

RKNN trial

转换和运行时验证

衡量总应用效益。

Release

版本化模型和回滚

更新后重复。

示例设计

保留 CPU 实现作为正确性参考

即使部署的应用程序使用 NPU,CPU 路径在开发过程中也很有价值。通过两者运行相同的输入,并在应用程序的容差范围内比较输出。如果加速度改变了结果,请在优化速度之前检查预处理、精度和不支持的操作。首选生产路径是通过团队可以维护的更新和恢复流程来满足准确性和延迟要求的路径。

硬件和文档

Sige5 · RK3576

RK3576,四个 Cortex-A72 和四个 Cortex-A53 内核,6 TOPS NPU,双千兆以太网和 M.2 PCIe 2.1 x1。

硬件文档 · 产品详情

Sige7 · RK3588

RK3588、6 TOPS NPU、双 2.5GbE 和 M.2 PCIe 3.0 x4。检查所选的eMMC和无线配置。

硬件文档 · 产品详情

常见问题

每个型号都应该使用NPU吗?

否。不受支持的模型和已经足够的 CPU 工作负载可能无法从转换中受益。

产品信息和支持

了解 Sige5

联系 ArmSoM

来源

由 ArmSoM 使用以下文档编写。示例设计是建议,而不是测量的客户安装。

相关阅读