ArmSoM
← Все истории

Ускорение природоохранной науки с помощью ArmSoM CM5 SoM.

Обнаружение морских млекопитающих в режиме реального времени для решений активного управления с использованием недорогого вычислительного модуля с открытым исходным кодом.

(Буй Фото и видео предоставлены Cetaware.)

Размер компании: сотрудники 1-10

Отрасль компании: Экологические науки и услуги

Веб-сайт: www.cetaware.nz 

 

Список функций и технические характеристики.

 

Обработка сигналов в реальном времени и вывод для классификации вокализаций китообразных.

Частота дискретизации 96 кГц (до 384 кГц)

Чувствительность гидрофона -165 дБ относительно 1V мкПа

LTE Cat M-1 для телеметрии/подключения.

Вычислительный модуль ARMSoM (CM5) для периферийной обработки и машинного обучения.

 

 

Предыстория проекта

 

Прислушиваясь к миру природы, мы можем следить за тем, как животные общаются друг с другом, а также получать фундаментальные исходные данные, чтобы подтвердить будущие изменения в ответ на изменения окружающей среды. Например, обнаружив наличие вокализаций голосовых видов в различных средах обитания, исследователи могут исследовать популяции и определять тенденции численности, использования среды обитания и биоразнообразия. Эти наборы данных имеют решающее значение для установления исходных показателей, чтобы можно было количественно оценить и лучше управлять последствиями человеческой деятельности, такой как строительство. Интересный аспект экологической акустики (например, биоакустики) заключается в том, что говорящие животные очень хорошо поддаются технологии пассивного акустического мониторинга (PAM). Сила PAM заключается в его масштабируемости. Многие автономные регистраторы (в режиме реального времени или с записью на карты памяти) могут быть развернуты в отдаленных местах обитания, которые слишком сложно изучить с помощью визуальных методов, таких как визуальные исследования (камеры, аэрофотосъемка или линейные трансекты).

 

Океан — одно из таких мест, которое очень дорого и его трудно измерить в масштабе. Погода и видимость являются постоянными ограничениями при изучении использования/присутствия местообитаний морских млекопитающих, поскольку визуальные исследования требуют хорошей погоды и светлого времени суток. Это по своей сути приводит к ошибкам выборки в некоторых наборах данных, где «горячие точки» морских млекопитающих имеют тенденцию перекрываться с районами с более высоким присутствием человека. Однако киты и дельфины активны ночью и могут перемещаться в другие места, чем днем. Таким образом, пассивный акустический мониторинг (PAM) вокализации китов и дельфинов, а также рыб и беспозвоночных может многое рассказать об их экологии и предоставить исследователям более полную картину. Кроме того, присутствие человека или активность в морской среде обитания можно отслеживать с помощью тех же устройств, обнаруживая шум судов.

 

Проблемы, с которыми пришлось столкнуться

 

Благодаря потенциалу PAM в предоставлении непрерывных экологических данных о трудноизучаемых видах, которые не ограничены погодными или световыми условиями, акустические регистраторы все чаще используются в природоохранной науке. В океанах гидрофоны используются для подслушивания рифов, глубин океана, эстуариев и береговых линий. Наиболее распространенной технологией, используемой во всем мире, по-прежнему является автономный регистратор, который представляет собой устройство, рассчитанное на глубину, состоящее из гидрофона(ов), подключенного к предварительному усилителю, цифро-аналогового преобразователя (ЦАП), некоторого контроллера и запоминающего устройства. Регистраторы развернуты на любой глубине (в зависимости от используемого устройства) и обычно работают на несколько месяцев (во многих случаях до года). Некоторые системы PAM имеют гидрофоны, которые подключены кабелем к береговым станциям и работают на постоянной основе в течение многих лет. Эти технологии приводят к тому, что исследователи собирают сотни тысяч часов записей, которые требуют автоматического анализа для получения из них значимой информации. Именно здесь глубокое обучение изменило правила игры.

 

Модели глубокого обучения и оборудование с ускорением искусственного интеллекта раскрыли истинный потенциал масштабируемости PAM, позволив ученым анализировать терабайты записей в разумные сроки. Трансферное обучение означает, что исследователи могут использовать свои собственные аннотированные наборы данных, собранные за свою карьеру, для точной настройки высокоэффективных моделей глубокого обучения для своих целей. А появление аппаратного обеспечения с искусственным интеллектом означает, что эти модели могут работать с беспрецедентной скоростью по сравнению с алгоритмами, работающими на процессорах, включая более традиционные классификаторы на основе машинного обучения, такие как модели случайного леса. Однако при извлечении автономных регистраторов, особенно из нескольких мест обитания после нескольких месяцев записи, возникают узкие места, которые задерживают анализ данных (при условии, что инструменты были успешно найдены и извлечены). Кроме того, автономные регистраторы подвергаются риску попадания воды (т.е. затопления) и повреждения карт памяти (как и все технологии, погруженные в воду), что означает, что данные могут быть потеряны по незнанию, а последующие пробелы в базовых наборах данных могут помешать ученым сделать статистически надежные выводы.

 

Развертывание моделей глубокого обучения на периферии позволяет обойти узкие места в анализе данных с автономных регистраторов, предоставляя существенное преимущество исследователям, которые используют «большие данные» для изучения своих экосистем. Развертывание моделей глубокого обучения на периферии и передача обработанных данных в режиме реального времени позволяет обойти проблемы безопасности данных, поскольку данные можно немедленно получить, заархивировать и создать резервную копию.

 

Однако океан шумный, и мониторинг морских млекопитающих часто происходит в районах, где также наблюдается активная деятельность человека. Например, действующие порты, строительные площадки, морские пути, урбанизированные устья рек и гавани — все это территории с множеством различных источников антропогенного (техногенного) шума. Кроме того, погода, течения (приливы), биообрастание и другие звуки животных (таких как рыбы и беспозвоночные) также производят множество звуков, которые необходимо «отфильтровать» (т. е. удалить), чтобы не маскировать целевые вокализации или не приводить к ложным срабатываниям (т. е. сообщать об обнаружении вокализаций, хотя на самом деле они исходят из другого источника, например, погоды или гидролокатора судна). Поэтому важно регулярно обновлять модели, чтобы бортовой ИИ продолжал обучаться после проверки исходных данных обученными биоакустиками (т. е. конвейером непрерывного обучения человека). Беспроводные обновления означают, что передовые технологии, такие как архитектуры моделей, удобные для мобильных устройств, обученные с использованием гибких сред моделирования Google DeepResearch, могут быть отправлены в море без извлечения устройства.

 

Решение CM5 (Почему ArmSoM CM5?)

 

Адаптивная обработка кромок и многопоточная обработка кромок для нескольких источников звука требуют вычислительно мощного, но чрезвычайно эффективного аппаратного и программного обеспечения. Система-на-модулях (SoM) ARMSoM представляет собой идеальный баланс вычислительной мощности для AIoT и энергопотребления (потребление энергии в режиме ожидания 0.5-1W при работе Armbian). SoC RK3576 с четырьмя процессорами Cortex A72 и четырьмя процессорами A55 позволяет индивидуально использовать ресурсы, а ОЗУ NPU и LPDDR5 обеспечивают чрезвычайно низкую задержку для классификации аудиопотоков в реальном времени.

 

Появление интегрированных NPU с процессорами ARM представляет реальные преимущества для передового машинного обучения в биоакустике. Использование микроконтроллеров, таких как ESP32-S3, по-прежнему весьма актуально, но внедрение ARMSoM SoC RK35xx в свои платы обеспечивает параллельные конвейеры обработки и параллельные выводы для классификации звука. Это очень мощный инструмент, поскольку означает, что с помощью одного гидрофона можно выполнять различные акустические анализы для одновременного прослушивания нескольких видов китов и дельфинов, а также других источников.

 

Кроме того, существует экономическая выгода от использования SoM с открытым исходным кодом, такого как ARMSoM CM5. Мониторинг океанов с использованием оборудования и инструментов научного уровня обходится очень дорого. Акустический мониторинг в реальном времени и детекторы/классификаторы биоакустических сигналов также очень дороги. Это может означать, что пассивный акустический мониторинг может оказаться непомерно дорогостоящим, особенно для развивающихся стран или некоммерческих организаций. Найден опрос 2024 90% респондентов, сообщивших о потребности в недорогих автономных звукозаписывающих устройствах, что привело к международномуновый недорогой проект гидрофона. В опросе приняли участие исследователи из правительств, университетов, НПО со всего мира. За счет использования вычислительного оборудования с открытым исходным кодом затраты на создание акустического мониторинга в реальном времени могут быть ниже, чем при использовании систем со специализированными микроконтроллерами.

 

 

 

Процесс реализации

 

Чтобы продемонстрировать преимущества оборудования с открытым исходным кодом для обработки кромок в биоакустике, нам понадобился демонстрационный буй. Мы специализируемся на разработке и внедрении систем акустического мониторинга в реальном времени для морской науки, но для того, чтобы наша технология работала, требуется платформа. ARMSoM CM5 и периферийное оборудование были установлены внутри буя Nexsens в гавани Фангареи на севере Новой Зеландии при сотрудничестве с Northport Limited. Гидрофоны были установлены под буем, подключены к 24-битному ЦАП, 96 кГц, а затем к вычислительному модулю. Подключение к AWS для передачи данных в режиме реального времени было достигнуто с использованием сотовой сети 4G. Данные обнаружения (аудиоданные, спектрограммы и метаданные) отправляются в AWS, где дальнейший анализ может быть выполнен на берегу.

(для фотографий косаток необходимо указать Ингрид Виссер)

Результаты и преимущества

 

RK3576 — это мощная система на кристалле, которая с комфортом управляет всем нашим конвейером искусственного интеллекта в реальном времени, но с дополнительным преимуществом оперативной памяти LPDDR5 и более низким энергопотреблением, чем раньше. В настоящее время установленный внутри буя в Фангареи, он без сбоев успешно передает данные о ряде видов дельфинов в режиме реального времени на нашу онлайн-панель. За последние месяцы 13 буй предоставил акустические данные о встречах 219 морских млекопитающих, заходящих в гавань или выходящих из нее. Из этих встреч 219 24 были косатками, а афалины составили большую часть оставшихся встреч (трое из них были новозеландскими морскими котиками).