ArmSoM
← 所有故事

相机、NPU 和 UI 一起:测试完整的边缘 AI 管道

当捕获、推理、存储、网络和恢复协同工作时,人工智能演示就成为产品。单独测试每个组件可能会错过队列增长、内存压力或丢失的帧。运行设备在部署后将面临的组合工作负载。

ArmSoM AIM7

ArmSoM AIM7

跟踪数据从输入到结果的过程

标记管道的每个阶段并记录其队列大小和处理时间。检查缓慢的消费者是否导致帧或请求累积。定义应用程序在过载时丢弃、重试或记录的内容。在启用日志记录和其他后台服务的情况下重复运行。

添加现实的争论

在 Sige7 或 AIM7 上,运行预期的显示、记录和网络任务以及推理。观察 CPU 使用情况、内存压力、存储写入和温度。测试相机重新连接和临时输出故障。媒体和 NPU 加速减少了一些 CPU 工作,但缓冲区处理和应用程序代码仍然是系统的一部分。

围绕决策设定接受标准

测量从场景输入到重要的动作或可见结果的时间。计算丢失的帧和错误的决策以及平均速度。保留已知的输入序列,以便在驱动程序或模型更改后进行回归。报告测试的分辨率、数据流数量、模型和冷却,以便其他工程师能够了解结果。

ArmSoM Sige7

ArmSoM Sige7

根据您的要求进行选择

要求或情况

评估什么

决定详情

新鲜度

捕获到输出延迟

观察队列增长。

并发

相机、UI、存储和网络

一起奔跑。

恢复

断开连接并重新启动服务

检查自动恢复。

示例设计

从到达到决策追踪一帧

在采集、预处理、推理和结果交付时分配时间戳。当存储或网络与推理竞争时,这使得队列增长变得明显。决定应用程序是否应该丢弃旧帧或处理每个帧,因为这些策略在负载下会产生不同的行为。实时决策系统通常更重视最近的答案,而不是完全积压的陈旧答案。在最慢的预期输入和输出条件下测试所选策略。

硬件和文档

Sige7 · RK3588

RK3588、6 TOPS NPU、双 2.5GbE 和 M.2 PCIe 3.0 x4。检查所选的eMMC和无线配置。

硬件文档 · 产品详情

AIM7 · RK3588

RK3588 模块,带有 6 TOPS NPU 和 260 引脚 SO-DIMM 连接器。 ArmSoM测试了Jetson Nano B01载体;这并不与所有 Jetson 运营商或 NVIDIA 软件建立兼容性。

硬件文档 · 产品详情

常见问题

我可以添加相机FPS和推理FPS来描述系统速度吗?

不,他们衡量的是不同的阶段。端到端吞吐量受到管道及其缓冲策略的限制。

产品信息和支持

了解 Sige7

联系 ArmSoM

来源

由 ArmSoM 使用以下文档编写。示例设计是建议,而不是测量的客户安装。

相关阅读