当捕获、推理、存储、网络和恢复协同工作时,人工智能演示就成为产品。单独测试每个组件可能会错过队列增长、内存压力或丢失的帧。运行设备在部署后将面临的组合工作负载。

ArmSoM AIM7
跟踪数据从输入到结果的过程
标记管道的每个阶段并记录其队列大小和处理时间。检查缓慢的消费者是否导致帧或请求累积。定义应用程序在过载时丢弃、重试或记录的内容。在启用日志记录和其他后台服务的情况下重复运行。
添加现实的争论
在 Sige7 或 AIM7 上,运行预期的显示、记录和网络任务以及推理。观察 CPU 使用情况、内存压力、存储写入和温度。测试相机重新连接和临时输出故障。媒体和 NPU 加速减少了一些 CPU 工作,但缓冲区处理和应用程序代码仍然是系统的一部分。
围绕决策设定接受标准
测量从场景输入到重要的动作或可见结果的时间。计算丢失的帧和错误的决策以及平均速度。保留已知的输入序列,以便在驱动程序或模型更改后进行回归。报告测试的分辨率、数据流数量、模型和冷却,以便其他工程师能够了解结果。

ArmSoM Sige7
根据您的要求进行选择
要求或情况 | 评估什么 | 决定详情 |
新鲜度 | 捕获到输出延迟 | 观察队列增长。 |
并发 | 相机、UI、存储和网络 | 一起奔跑。 |
恢复 | 断开连接并重新启动服务 | 检查自动恢复。 |
示例设计
从到达到决策追踪一帧
在采集、预处理、推理和结果交付时分配时间戳。当存储或网络与推理竞争时,这使得队列增长变得明显。决定应用程序是否应该丢弃旧帧或处理每个帧,因为这些策略在负载下会产生不同的行为。实时决策系统通常更重视最近的答案,而不是完全积压的陈旧答案。在最慢的预期输入和输出条件下测试所选策略。
硬件和文档
Sige7 · RK3588
RK3588、6 TOPS NPU、双 2.5GbE 和 M.2 PCIe 3.0 x4。检查所选的eMMC和无线配置。
AIM7 · RK3588
RK3588 模块,带有 6 TOPS NPU 和 260 引脚 SO-DIMM 连接器。 ArmSoM测试了Jetson Nano B01载体;这并不与所有 Jetson 运营商或 NVIDIA 软件建立兼容性。
常见问题
我可以添加相机FPS和推理FPS来描述系统速度吗?
不,他们衡量的是不同的阶段。端到端吞吐量受到管道及其缓冲策略的限制。
产品信息和支持
来源
由 ArmSoM 使用以下文档编写。示例设计是建议,而不是测量的客户安装。
