即使 RKNN 路径可用,CPU 推理也是有用的基线。它有助于显示转换是否会改变准确性以及加速是否会改善应用程序的总响应时间。孤立内核中的最大收益可能并不是用户的最大收益。

ArmSoM Sige5
使用CPU路径作为参考
通过原始模型和转换后的版本运行相同的输入。在比较时间之前比较输出。包括应用测量中的预处理、后处理和数据移动。如果模型包含不受支持的操作,请记录它们的执行位置以及它们增加的时间。
将转换作为工程步骤进行评估
查看当前RKNN目标支持和型号示例。检查量化和操作员行为,然后将输出与参考进行比较。仅当质量保持可接受且数据移动不消耗节省时,较短的推理时间才有用。将转换设置与模型工件一起保留。
选择可维护的版本
对于 Sige5 或 Sige7,引脚兼容的工具包、运行时和驱动程序版本。决定如何转换、测试和回滚模型更新。如果小型 CPU 模型已经满足要求,则额外的加速可能不值得进行集成工作。如果 CPU 因并发服务而过载,则即使原始吞吐量不是主要目标,NPU 路径也可能会释放资源。

ArmSoM Sige7
根据您的要求进行选择
要求或情况 | 评估什么 | 决定详情 |
CPU baseline | 参考精度和计时 | 简化初步诊断。 |
RKNN trial | 转换和运行时验证 | 衡量总应用效益。 |
Release | 版本化模型和回滚 | 更新后重复。 |
示例设计
保留 CPU 实现作为正确性参考
即使部署的应用程序使用 NPU,CPU 路径在开发过程中也很有价值。通过两者运行相同的输入,并在应用程序的容差范围内比较输出。如果加速度改变了结果,请在优化速度之前检查预处理、精度和不支持的操作。首选生产路径是通过团队可以维护的更新和恢复流程来满足准确性和延迟要求的路径。
硬件和文档
Sige5 · RK3576
RK3576,四个 Cortex-A72 和四个 Cortex-A53 内核,6 TOPS NPU,双千兆以太网和 M.2 PCIe 2.1 x1。
Sige7 · RK3588
RK3588、6 TOPS NPU、双 2.5GbE 和 M.2 PCIe 3.0 x4。检查所选的eMMC和无线配置。
常见问题
每个型号都应该使用NPU吗?
否。不受支持的模型和已经足够的 CPU 工作负载可能无法从转换中受益。
产品信息和支持
来源
由 ArmSoM 使用以下文档编写。示例设计是建议,而不是测量的客户安装。
