ArmSoM
← Все истории

RKNN или среда выполнения CPU? Выбор пути вывода для вашего ARM SBC

Вывод CPU является полезной базовой линией, даже если доступен путь RKNN. Это помогает показать, влияет ли преобразование на точность и улучшает ли ускорение общее время отклика приложения. Наибольшая выгода от изолированного ядра может оказаться не самой большой выгодой для пользователя.

ArmSoM Sige5

ArmSoM Sige5

Используйте путь CPU в качестве ссылки.

Пропустите одни и те же входные данные через исходную модель и преобразованную версию. Сравните результаты, прежде чем сравнивать время. Включите предварительную обработку, постобработку и перемещение данных в измерения приложения. Если модель содержит неподдерживаемые операции, запишите, где они выполняются и сколько времени они добавляют.

Оценивайте конверсию как инженерный этап.

Проверьте текущую целевую поддержку RKNN и пример модели. Просмотрите квантование и поведение оператора, затем сравните выходные данные с эталоном. Меньшее время вывода полезно только в том случае, если качество остается приемлемым и перемещение данных не потребляет экономию. Сохраните настройки преобразования с артефактом модели.

Выберите поддерживаемую версию

Для Sige5 или Sige7: набор инструментов, совместимый по контактам, версия среды выполнения и драйвера. Решите, как обновление модели будет преобразовано, протестировано и выполнено откат. Если небольшая модель CPU уже соответствует этому требованию, дополнительное ускорение может не стоить усилий по интеграции. Если CPU перегружен параллельными службами, путь NPU может освободить ресурсы, даже если чистая пропускная способность не является основной целью.

ArmSoM Sige7

ArmSoM Sige7

Сопоставьте выбор с вашими требованиями

Требование или ситуация

Что оценить

Детали решения

Базовая линия CPU

Эталонная точность и синхронизация

Упрощает первоначальную диагностику.

Пробная версия RKNN

Преобразование и проверка времени выполнения

Измерьте общую выгоду от применения.

Релиз

Версионная модель и откат

Повторяйте после обновлений.

Пример дизайна

Сохраните реализацию CPU в качестве эталона правильности.

Путь CPU может быть полезен во время разработки, даже если развернутое приложение использует NPU. Пропустите одни и те же входные данные через оба и сравните выходные данные в пределах допуска приложения. Если ускорение меняет результат, проверьте предварительную обработку, точность и неподдерживаемые операции, прежде чем оптимизировать скорость. Предпочтительным производственным путем является тот, который соответствует требованиям к точности и задержке, а также процессу обновления и восстановления, который может поддерживать команда.

Аппаратура и документация

Sige5 · RK3576

RK3576, четыре ядра Cortex-A72 и четыре ядра Cortex-A53, 6 TOPS NPU, двойной Gigabit Ethernet и M.2 PCIe 2.1 x1.

Документация по оборудованию · Описание товара

Sige7 · RK3588

RK3588, 6 TOPS NPU, двойной 2.5GbE и M.2 PCIe 3.0 x4. Проверьте выбранный eMMC и конфигурацию беспроводной сети.

Документация по оборудованию · Описание товара

Часто задаваемые вопросы

Должна ли каждая модель использовать NPU?

Нет. Неподдерживаемые модели и уже адекватные рабочие нагрузки CPU могут не выиграть от преобразования.

Информация о продукте и поддержка

Подробнее о Sige5

Связаться с ArmSoM

Источники

Написано ArmSoM с использованием документации ниже. Примеры проектов — это предложения, а не измеренные установки клиентов.

Похожие материалы