ArmSoM
← Alle Geschichten

Beschleunigte Naturschutzwissenschaft mit ArmSoM CM5 SoM.

Echtzeit-Erkennung von Meeressäugetieren für aktive Managementlösungen mit einem kostengünstigen Open-Source-Rechenmodul.

(Buoy Foto- und Video-Credits gehen an Cetaware)

Größe des Unternehmens: Mitarbeiter von 1-10

Unternehmensbranche: Umweltwissenschaften & Dienstleistungen

Website: www.cetaware.nz 

 

Liste der Merkmale und technischen Spezifikationen

 

Echtzeit-Signalverarbeitung und -inferenz zur Klassifizierung von Wallautäußerungen.

96 kHz Abtastfrequenz (bis zu 384 kHz)

Hydrofonempfindlichkeit -165 dB re 1V μPa

LTE Cat M-1 für Telemetrie/Konnektivität.

ARMSoM Compute Module (CM5) für Edge Processing und Machine Learning.

 

 

Projekthintergrund

 

Indem wir der natürlichen Welt zuhören, können wir überwachen, wie Tiere miteinander kommunizieren, und wir können grundlegende Basislinien erhalten, um zukünftige Veränderungen als Reaktion auf Umweltveränderungen zu bestätigen. Zum Beispiel können Forscher durch den Nachweis der Präsenz von Stimmgebungen von Stimmspezies in einer Vielzahl von Lebensräumen Populationen untersuchen und Trends in Bezug auf Häufigkeit, Lebensraumnutzung und Biodiversität aufzeigen. Diese Datensätze sind entscheidend für die Festlegung von Basislinien, damit die Auswirkungen menschlicher Aktivitäten, wie etwa Bauwesen, quantifiziert und besser verwaltet werden können. Der spannende Aspekt der ökologischen Akustik (wie Bioakustik) ist, dass sich stimmliche Tiere so gut für die passive akustische Überwachung (PAM) eignen. Die Stärke von PAM ist seine Skalierbarkeit. Viele autonome Logger (Echtzeit- oder Speicherkarten-Aufzeichnungen) können in abgelegenen Lebensräumen eingesetzt werden, die mit visuellen Methoden zu schwer zu untersuchen sind, wie z. B. visuelle Vermessungen (Kameras, Luftaufnahmen oder Linientransekte).

 

Der Ozean ist ein solcher Ort, der sehr teuer und schwer zu probieren ist. Wetter und Sichtbarkeit sind ständige Einschränkungen bei der Untersuchung der Nutzung/Anwesenheit von Meeressäugetieren, da visuelle Untersuchungen schönes Wetter und Tageslichtstunden erfordern. Dies führt inhärent zu Stichprobenverzerrungen in einigen Datensätzen, in denen sich marine Säugetier-„Hot Spots mit Gebieten mit höherer menschlicher Präsenz überschneiden. Wale und Delfine sind jedoch nachts aktiv und können sich in andere Gebiete bewegen als tagsüber. Daher kann die passive akustische Überwachung (PAM) für Wal- und Delfinlautäußerungen und sogar Fische und Wirbellose viel über ihre Ökologie aussagen und bietet Forschern ein vollständigeres Bild. Darüber hinaus kann die Anwesenheit oder Aktivität des Menschen in marinen Lebensräumen mit den gleichen Geräten überwacht werden, indem der Lärm von Schiffen erkannt wird.

 

Herausforderungen

 

Aufgrund des Potenzials von PAM, kontinuierliche ökologische Daten zu schwer zu untersuchenden Arten zu liefern, die nicht durch Wetter- oder Lichtbedingungen eingeschränkt sind, werden akustische Logger in der Naturschutzwissenschaft immer häufiger eingesetzt. In den Ozeanen werden Hydrophone verwendet, um Riffe, den tiefen Ozean, Mündungen und Küsten zu belauschen. Die weltweit am häufigsten verwendete Technologie ist immer noch der autonome Recorder, ein Tiefenmessgerät, das aus einem Hydrofon besteht, das an einen Vorverstärker, einen Digital-Analog-Konverter (DAC), einen Controller und ein Speichergerät angeschlossen ist. Recorder werden in allen Tiefen eingesetzt (abhängig vom verwendeten Gerät) und typischerweise mehrere Monate gleichzeitig eingesetzt (in vielen Fällen bis zu einem Jahr). Einige PAM-Systeme verfügen über Hydrofone, die an Landstationen angeschlossen sind und über viele Jahre hinweg dauerhaft betrieben werden. Diese Technologien führen dazu, dass Forscher Hunderttausende von Stunden an Aufnahmen kuratieren, die automatisierte Analysen erfordern, um aussagekräftige Informationen von ihnen zu erhalten. Hier hat Deep Learning das Spiel verändert.

 

Deep-Learning-Modelle und KI-beschleunigte Hardware haben das wahre Skalierbarkeitspotenzial von PAM freigeschaltet, indem sie es Wissenschaftlern ermöglichen, Terabytes von Aufnahmen in angemessenen Zeitrahmen zu analysieren. Transfer Learning bedeutet, dass Forscher ihre eigenen kommentierten Datensätze verwenden können, die im Laufe ihrer Karriere gesammelt wurden, um hocheffiziente Deep-Learning-Modelle für ihre eigenen Zwecke zu verfeinern. Und das Aufkommen von KI-beschleunigter Hardware bedeutet, dass diese Modelle mit beispiellosen Geschwindigkeiten laufen können, verglichen mit Algorithmen, die auf CPUs laufen, einschließlich traditionellerer Klassifikatoren auf Basis von maschinellem Lernen, wie z. B. zufällige Waldmodelle. Wenn jedoch autonome Logger abgerufen werden, insbesondere aus mehreren Lebensräumen nach mehreren Monaten der Aufzeichnung, gibt es Engpässe, die Datenanalysen verzögern (vorausgesetzt, die Instrumente wurden erfolgreich gefunden und abgerufen). Darüber hinaus sind autonome Logger von Wassereintritt bedroht (d.h. Hochwasser) und Speicherkartenkorruption (wie alle Technologien, die in Wasser eingetaucht sind, was bedeutet, dass Daten unwissentlich verloren gehen können und nachfolgende Lücken in den Basisdatensätzen die Wissenschaftler daran hindern können, statistisch robuste Schlussfolgerungen zu ziehen.

 

Die Einführung von Deep-Learning-Modellen am Rand umgeht Engpässe bei Datenanalysen von autonomen Rekordern und bietet Forschern, die Big Data zur Untersuchung ihrer Ökosysteme verwenden, einen erheblichen Vorteil. Die Bereitstellung von Deep-Learning-Modellen am Rand und die Übertragung von verarbeiteten Daten in Echtzeit umgehen Datensicherheitsprobleme, da Daten sofort abgerufen, archiviert und gesichert werden können.

 

Der Ozean ist jedoch laut, und die Überwachung von Meeressäugetieren findet häufig in Gebieten statt, in denen auch viel menschliche Aktivität vorhanden ist. Arbeitshäfen, Baustellen, Schifffahrtswege, urbanisierte Mündungen und Häfen sind Gebiete mit vielen verschiedenen anthropogenen (vom Menschen verursachten) Lärmquellen. Darüber hinaus erzeugen Wetter, Strömungen (Gezeiten), Biofouling und andere Tiergeräusche (wie Fische und Wirbellose) auch viele Geräusche, die "herausgefiltert" (d. H. Entfernt) werden müssen, um Zielvokalisierungen nicht zu maskieren oder zu falsch positiven Ergebnissen zu führen (d. H. Meldung von Erkennungen von Lautäußerungen, wenn sie tatsächlich von einer anderen Quelle stammen, wie z. B. Wetter oder Sonar eines Schiffes). Daher sind regelmäßige Aktualisierungen der Modelle wichtig, damit die Bord-KI weiter trainiert wird, nachdem die ersten Daten von ausgebildeten Bioakustikern (d.h. einer Human-in-the-Loop-Trainingspipeline) verifiziert wurden. Over-the-Air-Updates bedeuten, dass fortschrittliche Technologien, wie mobile Modellarchitekturen, die mithilfe von Google DeepResearch agilen Modellierungs-Frameworks trainiert wurden, ohne Geräteabruf auf See gebracht werden können.

 

Die CM5-Lösung (Warum ArmSoM CM5?)

 

Adaptive Kantenverarbeitung und Multi-Threaded-Kantenverarbeitung für mehrere akustische Quellen erfordern rechenfähige, aber äußerst effiziente Hardware und Software. Die System-on-Module (SoM) von ARMSoM sind die perfekte Balance zwischen Rechenleistung für AIoT und Stromverbrauch (0.5-1W im Leerlauf mit Armbian). Der RK3576 SoC mit seinen 4x Cortex A72 und 4x A55 Prozessoren ermöglicht eine maßgeschneiderte Ressourcennutzung, während der NPU und LPDDR5 RAM eine extrem niedrige Latenz für die Echtzeit-Audiostromklassifizierung bieten.

 

Das Aufkommen integrierter NPUs mit ARM-Prozessoren bietet echte Vorteile für Edge Machine Learning in der Bioakustik. Der Einsatz von Mikrocontrollern wie ESP32-S3 ist nach wie vor hoch relevant, aber die Einführung von RK35xx-SoCs in ihren Boards ermöglicht parallele Verarbeitungspipelines und gleichzeitige Rückschlüsse auf die Audioklassifizierung. Dies ist enorm leistungsfähig, da verschiedene akustische Analysen mit einem einzigen Hydrofon durchgeführt werden können, um gleichzeitig mehrere Arten von Walen und Delfinen sowie andere Quellen zu hören.

 

Dann gibt es den Kostenvorteil der Verwendung von Open-Source-SoMs wie die ARMSoM CM5. Die Überwachung der Ozeane mit wissenschaftlich fundierter Hardware und Instrumenten ist sehr teuer. Akustische Echtzeitüberwachung und bioakustische Signaldetektoren/Klassifikatoren sind ebenfalls sehr teuer. Dies kann bedeuten, dass passive akustische Überwachung kostenprohibitiv sein kann, insbesondere für Entwicklungsländer oder gemeinnützige Organisationen. Eine 2024-Umfrage gefunden 90% der Befragten geben an, dass sie kostengünstige autonome Tonaufnahmegeräte benötigen, was zu der Internatio führtnal-Projekt für kostengünstige Hydrofone. Die Umfrage umfasste Forscher aus Regierungen, Universitäten und NGOs aus der ganzen Welt. Durch den Einsatz von Open-Source-Computing-Hardware können die Baukosten für die akustische Echtzeitüberwachung niedriger sein als bei der Verwendung von Systemen mit spezialisierten Mikrocontrollern.

 

 

 

Umsetzungsprozess

 

Um die Vorteile von Open-Source-Hardware für die Kantenverarbeitung in der Bioakustik zu demonstrieren, brauchten wir eine Demonstrationsboje. Wir sind spezialisiert auf die Entwicklung und den Einsatz von akustischen Echtzeit-Überwachungssystemen für die Meereswissenschaft, aber damit unsere Technologie funktioniert, braucht sie eine Plattform. Die ARMSoM CM5 und die Peripherie-Hardware wurden in einer Nexsens-Boje im Whangarei Harbour im Norden Neuseelands in Partnerschaft mit Northport Limited installiert. Hydrophone wurden unterhalb der Boje installiert, die mit einem 24-Bit, 96kHz DAC, und dann mit dem Compute-Modul verbunden waren. Die Konnektivität zu AWS für die Echtzeit-Datenübertragung wurde mit dem 4G-Mobilfunknetz erreicht. Detektionsdaten (Audiodaten, Spektrogramme und Metadaten) werden an AWS gesendet, wo weitere Analysen landseitig durchgeführt werden können.

(Kredit Ingrid Visser für Orca Fotos erforderlich)

Ergebnisse und Vorteile

 

Der RK3576 ist ein leistungsstarker SoC, der unsere gesamte Echtzeit-KI-Pipeline komfortabel betreibt, aber mit dem zusätzlichen Vorteil des LPDDR5 RAM und einem geringeren Stromverbrauch als zuvor. Derzeit in der Boje in Whangarei installiert, hat sie erfolgreich Daten zu einer Reihe von Delfinarten in Echtzeit auf unser Online-Dashboard übertragen. In den vergangenen 13-Monaten hat die Boje akustische Daten von 219-Begegnungen von Meeressäugetieren geliefert, die den Hafen betreten / verlassen. Von diesen 219 Begegnungen, 24 von ihnen waren Orca, während die Bottlenose Delfine die meisten der verbleibenden Begegnungen aus (drei von ihnen waren NZ Pelzrobben).