ArmSoM
← 所有故事

使用 ArmSoM CM5 SoM 加速保护科学。

使用廉价的开源计算模块进行实时海洋哺乳动物检测,以实现主动管理解决方案。

(浮标照片和视频版权归 Cetaware 所有)

公司规模: 1-10 员工

公司行业: 环境科学与服务

网站: www.cetaware.nz 

 

功能和技术规格列表

 

鲸类发声分类的实时信号处理和推理。

96kHz 采样率(最高 384kHz)

水听器灵敏度 -165 dB re 1V µPa

LTE Cat M-1 用于遥测/连接。

用于边缘处理和机器学习的ARMSoM计算模块(CM5)。

 

 

项目背景

 

通过倾听自然世界,我们可以监测动物如何相互交流,并且可以获得基本基线,从而确认未来因环境变化而发生的变化。例如,通过检测各种栖息地中发声物种的发声情况,研究人员可以调查种群数量并绘制丰度、栖息地利用和生物多样性的趋势。这些数据集对于建立基线至关重要,以便可以量化和更好地管理建筑等人类活动的影响。生态声学(例如生物声学)的令人兴奋的方面是发声动物非常适合被动声学监测(PAM)技术。 PAM 的强大之处在于它的可扩展性。许多自主记录仪(实时或记录到存储卡)可以部署在偏远的栖息地,这些栖息地很难使用基于视觉的方法进行研究,例如视觉调查(相机、航空调查或线横断面)。

 

海洋就是这样一个非常昂贵且难以大规模采样的地方。在研究海洋哺乳动物的栖息地使用/存在时,天气和能见度是持续的限制因素,因为目视调查需要晴朗的天气和白天的光照时间。这本质上会导致某些数据集中的采样偏差,其中海洋哺乳动物的“热点”往往与人类存在较多的区域重叠。然而,鲸鱼和海豚在夜间活跃,并且可以移动到与白天不同的区域。因此,对鲸鱼和海豚、甚至鱼类和无脊椎动物的发声进行被动声学监测(PAM)可以揭示大量有关其生态的信息,并为研究人员提供更全面的了解。此外,可以使用相同的设备通过检测船只的噪音来监测海洋栖息地中的人类存在或活动。

 

面临的挑战

 

由于 PAM 具有提供难以研究物种的连续生态数据的潜力,且不受天气或光照条件的限制,声学记录仪在保护科学中变得越来越普遍。在海洋中,水听器用于窃听珊瑚礁、深海、河口和海岸线。世界各地最常用的技术仍然是自主记录器,它是一种深度额定设备,由连接到前置放大器的水听器、数模 (DAC) 转换器、一些控制器和存储设备组成。记录仪部署在所有深度(取决于所使用的设备),通常一次部署几个月(在许多情况下长达一年)。一些 PAM 系统具有通过电缆连接到岸站的水听器,并且可以在多年内更永久地运行。这些技术导致研究人员整理了数十万小时的录音,需要自动分析才能从中获取有意义的信息。这就是深度学习改变游戏规则的地方。

 

深度学习模型和 AI 加速硬件使科学家能够在合理的时间范围内分析 TB 级的记录,从而释放了 PAM 真正的可扩展性潜力。迁移学习意味着研究人员可以使用他们在职业生涯中收集的带注释的数据集来根据自己的目的微调高效的深度学习模型。人工智能加速硬件的出现意味着与 CPU 上运行的算法相比,这些模型可以以前所未有的速度运行,包括更传统的基于机器学习的分类器,例如随机森林模型。然而,当自主记录仪被检索时,特别是在记录几个月后从多个栖息地检索时,存在延迟数据分析的瓶颈(假设仪器已成功找到并检索)。此外,自主记录仪还面临进水(即洪水)和存储卡损坏(就像所有浸入水中的技术一样)的风险,这意味着数据可能会在不知不觉中丢失,并且基线数据集中的后续差距可能会损害科学家得出统计上可靠的结论。

 

在边缘部署深度学习模型可以规避自主记录器数据分析的瓶颈,为使用“大数据”研究其生态系统的研究人员提供了巨大的优势。在边缘部署深度学习模型并实时传输处理后的数据可以避免数据安全问题,因为数据可以立即检索、存档和备份。

 

然而,海洋是嘈杂的,海洋哺乳动物的监测经常发生在也有大量人类活动的区域。例如,工作港口、建筑工地、航道、城市化河口和港口都是存在大量不同人为噪声源的区域。此外,天气、水流(潮汐)、生物污垢和其他动物声音(例如鱼类和无脊椎动物)也会产生大量需要“过滤”(即去除)的声音,以免掩盖目标发声,或导致误报(即报告检测到的发声,而实际上它们来自其他来源,例如天气或船只的声纳)。因此,模型的定期更新非常重要,以便在经过训练的生物声学专家(即人机循环训练管道)验证初始数据后,机载人工智能能够继续接受训练。无线更新意味着先进的技术,例如使用 Google DeepResearch 敏捷建模框架训练的移动友好模型架构,可以在无需设备检索的情况下投入使用。

 

CM5 解决方案(为什么是 ArmSoM CM5?)

 

针对多个声源的自适应边缘处理和多线程边缘处理需要具有计算能力且极其高效的硬件和软件。 ARMSoM 的模块系统 (SoM) 实现了 AIoT 计算能力和功耗(0.5-1W 运行 Armbian 的空闲功耗)的完美平衡。 RK3576 SoC 配备 4 个 Cortex A72 和 4 个 A55 处理器,可实现定制资源使用,而 NPU 和 LPDDR5 RAM 为实时音频流分类提供极低的延迟。

 

带有 ARM 处理器的集成 NPU 的出现为生物声学领域的边缘机器学习带来了真正的优势。 ESP32-S3 等微控制器的使用仍然高度相关,但 ARMSoM 在其电路板中采用 RK35xx SoC,实现了音频分类的并行处理管道和并发推理。这是非常强大的,因为它意味着可以使用单个水听器来执行不同的声学分析,以同时监听多种鲸鱼和海豚以及其他来源的声音。

 

然后,使用开源 SoM(例如 ARMSoM CM5。使用科学级硬件和仪器监测海洋非常昂贵。实时声学监测和生物声学信号检测器/分类器也非常昂贵。这可能意味着被动声学监测的成本可能过高,特别是对于发展中国家或非营利组织而言。 2024 调查发现 90% 的受访者表示需要低成本的自主录音设备,从而引发了国际市场的需求最终低成本水听器项目。 该调查包括来自世界各地政府、大学、非政府组织的研究人员。通过使用开源计算硬件,实时声学监测的构建成本可以低于使用具有专用微控制器的系统时的成本。

 

 

 

实施流程

 

为了展示开源硬件在生物声学边缘处理方面的优势,我们需要一个演示浮标。我们专注于开发和部署海洋科学实时声学监测系统,但我们的技术需要一个平台才能发挥作用。 ARMSoM CM5 和外围硬件与 Northport Limited 合作安装在新西兰北部旺阿雷港内的 Nexsens 浮标内。水听器安装在浮标下方,连接到 24 位 96kHz DAC,然后连接到计算模块。使用 4G 蜂窝网络实现与 AWS 的连接以进行实时数据传输。检测数据(音频数据、频谱图和元数据)被发送到 AWS,在岸上可以进行进一步的分析。

(逆戟鲸照片由 Ingrid Visser 提供)

结果和好处

 

RK3576 是一款功能强大的 SoC,可以轻松运行我们的整个实时 AI 管道,但具有 LPDDR5 RAM 的额外优势以及比以前更低的功耗。目前安装在旺阿雷的浮标内,它已成功地将一系列海豚物种的数据实时传输到我们的在线仪表板。在过去的13个月里,该浮标提供了219遭遇海洋哺乳动物进出港口的声学数据。在这些 219 遭遇中,其中 24 是逆戟鲸,而剩下的遭遇大部分是宽吻海豚(其中三只是新西兰毛皮海豹)。