ArmSoM
← 所有故事

构建离线语音界面:音频捕获只是第一步

离线语音应用程序必须捕获可用音频、识别语音并在其内存预算内返回响应。 P2 Pro 与该设计的音频方面相关。完整的应用程序是否适合取决于所选的模型和服务。

ArmSoM P2 Pro

ArmSoM P2 Pro

识别前测试捕捉

使用预期的麦克风、编解码器和板图像录制音频。检查样本格式、通道顺序和剪辑,然后聆听并检查录音。仅在该路径稳定后才添加识别。测量模型加载和峰值内存以及响应时间;频繁交换的系统在预热后的行为可能会大不相同。

在运行的房间进行测试

风扇噪音、扬声器播放、距离和混响都会影响识别。使用预期的麦克风和外壳记录同意的测试集。测量错过的命令和错误激活,包括在设备播放音频时。办公桌上的清晰录音并不能证明远场性能。

保持线下承诺精准

断开网络,测试启动、识别和响应。检查模型下载、认证或时间同步是否存在隐藏依赖。定义置信度较低时的行为,并提供重复或取消操作的手动方式。仅在需要时存储录音,并使用户可以理解该行为。

ArmSoM Sige5

ArmSoM Sige5

根据您的要求进行选择

要求或情况

评估什么

决定详情

捕捉

麦克风和外壳

测量噪声和削波。

推理

选择的模型和延迟

在目标处理器上验证。

线下行为

网络断开

测试完整的交互。

示例设计

在断网情况下测试离线语音

系统从干净状态启动后,离线声明应该能够在拔掉网络后继续存在。检查是否远程获取模型文件、许可证或初始化服务。使用真实的背景噪声分别测试唤醒、识别和响应阶段。小型音频板可以充当另一个处理器的前端,但应明确描述该架构,而不是呈现为麦克风端点上发生的所有处理。

硬件和文档

P2 Pro · RK3308B-S

RK3308B-S、256 MB / 512 MB DDR3、100 Mbps 以太网、PDM 和 I2S 音频。板尺寸:65 × 52.5 mm。存储和电源配件取决于订购的配置。

硬件文档 · 产品详情

Sige5 · RK3576

RK3576,四个 Cortex-A72 和四个 Cortex-A53 内核,6 TOPS NPU,双千兆以太网和 M.2 PCIe 2.1 x1。

硬件文档 · 产品详情

常见问题

具有音频功能的开发板是否会自动包含离线助手?

不行。应用程序、模型、音频处理和交互行为必须集成和测试。

产品信息和支持

探索 P2 Pro

联系 ArmSoM

来源

由 ArmSoM 使用以下文档编写。示例设计是建议,而不是测量的客户安装。

相关阅读