Встроенный NPU может устранить необходимость в отдельном ускорителе, при условии, что модель работает с его инструментами. Для платформ Rockchip ArmSoM преобразование модели и поддержка во время выполнения входят в процесс выбора платы, прежде чем цифра TOPS повлияет на покупку.

ArmSoM Sige5
Попробуйте модель, прежде чем приступать к установке оборудования.
Проверьте операторы модели, входные фигуры и поддерживаемый путь преобразования. Запустите репрезентативные входные данные и проверьте выходные данные на соответствие исходной модели. Успешное преобразование полезно, но точность и полное время отклика определяют, сможет ли приложение его использовать. Сохраняйте предварительную и постобработку CPU при измерениях времени.
Подсчитайте каждый этап вывода.
Захват измерений, изменение размера, нормализация, передача данных, вывод и обработка результатов. Ускоритель может сократить один этап, оставив без изменений этап предварительной обработки, связанный с CPU. Включите память, используемую буферами и одновременными службами. Сравните дополнительный ускоритель со встроенным NPU с той же точностью модели и качеством вывода и сохраните реализацию CPU в качестве эталона правильности.

ArmSoM Sige7s
Сопоставьте выбор с вашими требованиями
Требование или ситуация | Что оценить | Детали решения |
Неподдерживаемый оператор | Поддержка набора инструментов обзора | Резервный вариант CPU может изменить задержку. |
Ошибка квантования | Оценка репрезентативных образцов | Не используйте только простое демонстрационное изображение. |
Высокая скорость вывода, медленное применение | Измерьте ступени, отличные от NPU. | Время сквозного ответа — это показатель продукта. |
Пример дизайна
Оцените модель перед выбором платы.
Возьмите небольшой репрезентативный набор данных и сохраните результаты исходной модели. Преобразуйте модель с помощью предполагаемой цепочки инструментов Rockchip и сравните выходные данные с приемлемой ошибкой приложения. Если преобразование требует изменения предварительной обработки или замены оператора, запишите это. Только тогда сравнение времени вывода становится полезным. Это позволяет избежать выбора платы NPU в качестве основной возможности и последующего обнаружения того, что приложение зависит от неподдерживаемого пути модели.
Аппаратура и документация
Sige7s · RK3588S
RK3588S, 6 TOPS NPU, Gigabit Ethernet и съемный eMMC. Размеры: 85 × 56 × 17 mm. Перед заменой eMMC отключите питание.
Документация по оборудованию · Описание товара
Sige5 · RK3576
RK3576, четыре ядра Cortex-A72 и четыре ядра Cortex-A53, 6 TOPS NPU, двойной Gigabit Ethernet и M.2 PCIe 2.1 x1.
Документация по оборудованию · Описание товара
Часто задаваемые вопросы
Все ли платы 6 TOPS одинаково быстрые?
Нет. Программное обеспечение, структура модели, трафик памяти и конструкция конвейера влияют на реальные результаты.
Информация о продукте и поддержка
Источники
Написано ArmSoM с использованием документации ниже. Примеры проектов — это предложения, а не измеренные установки клиентов.
Rockchip RKNN Toolkit2: поддерживаемые платформы и инструменты развертывания.
Rockchip RKNN Модельный зоопарк: примеры и поддерживаемые модели
