ArmSoM
← 所有故事

AI 的 RK3588 与 Raspberry Pi 5:集成 NPU 还是外部加速器?

比较 AI 的 RK3588 与 Raspberry Pi 5 需要命名推理设置。 RK3588有一个集成的NPU; Pi 5 可以在其 CPU 或附加加速器上运行该模型。模型准确性和完整响应时间提供了有用的共同基础。

ArmSoM Sige7

ArmSoM Sige7

Raspberry Pi 5

Raspberry Pi 5 照片: Raspberry Pi

图片用于识别棋盘,并非按实际比例绘制。图片中的配置和随附的配件可能有所不同。

比较相同的任务和输入

使用相同的数据集、输入维度和准确性标准。记录每个平台上的模型格式和数值精度,包括转换所需的任何更改。测量捕获、预处理以及推理。如果一种设置使用附加加速器,请将其包含在硬件、功耗和成本说明中。

外部航线变更拓展规划

Raspberry Pi 5 有一个外部 PCIe 接口,可以通过适当的硬件使用。加速器占用物理空间、消耗电力并且可能与其他扩展要求竞争。它自己的模型工具链非常适合现有应用程序。当经过测试的模型和维护生态系统超过更换主板的好处时,保留该平台。

选择具有代表性的工作负载

使用相同的输入数据和准确性要求。包括相机捕捉、调整大小、推理、决策逻辑和输出。测量持续运行下经过的延迟、CPU 负载和系统功率。一旦包含转换开销和不支持的操作,较大的算术评级并不能保证较低的响应时间。

ArmSoM AIM7

ArmSoM AIM7

根据您的要求进行选择

要求或情况

评估什么

决定详情

RK3588 NPU

集成加速器

验证 RKNN 转换和主机运行时。

Pi 5 加加速器

独立的硬件和工具链

考虑扩展、功率和模型支持。

仅 CPU 基线

更简单的起始路径

添加加速度之前进行测量。

示例设计

比较您实际购买的人工智能系统

一种配置可能会使用Sige7的集成NPU;另一种可能将 Raspberry Pi 5 与指定的外部加速器一起使用。在第二个配置中包括加速器的接口、电源、冷却和运行时间。向两者提供相同的代表性输入,并以可接受的精度比较有用的决策。这衡量了客户将使用的系统,而不是将峰值算术数字与不相关的 CPU 分数进行比较。

硬件和文档

Sige7 · RK3588

RK3588、6 TOPS NPU、双 2.5GbE 和 M.2 PCIe 3.0 x4。检查所选的eMMC和无线配置。

硬件文档 · 产品详情

AIM7 · RK3588

RK3588 模块,带有 6 TOPS NPU 和 260 引脚 SO-DIMM 连接器。 ArmSoM测试了Jetson Nano B01载体;这并不与所有 Jetson 运营商或 NVIDIA 软件建立兼容性。

硬件文档 · 产品详情

常见问题

6 TOPS 足以选择更快的系统吗?

不。模型架构、精度、运行时间和完整的应用程序管道决定了实际结果。

产品信息和支持

了解 Sige7

联系 ArmSoM

来源

由 ArmSoM 使用以下文档编写。示例设计是建议,而不是测量的客户安装。

相关阅读