Перенос детектора объектов в RKNN включает преобразование, проверку вывода и интеграцию приложений. Преобразованный файл не является достаточным доказательством того, что обнаружение остается полезным. Проверьте его на оригинальной модели, прежде чем подключать его к камере.

ArmSoM Sige5
Сохраняйте эталонный набор входов и выходов.
Сохраните репрезентативные изображения, ожидаемые результаты и исходную конфигурацию модели. Сравните преобразованную модель на этих входных данных, включая мелкие объекты, сложное освещение и негативные примеры. Проверьте предварительную обработку и декодирование вывода, прежде чем обвинять квантование в несоответствии. Запишите версии преобразования и времени выполнения с помощью артефакта модели.
Преобразование с помощью поддерживаемых инструментов
Используйте соответствующий набор инструментов Rockchip и пример зоопарка моделей в качестве отправной точки, подтвердив целевую платформу и необходимые версии. Просмотрите предупреждения о конверсиях и поддержку оператора. Данные калибровки должны напоминать изображения, которые увидит устройство. Успешный экспорт – это лишь промежуточный этап; сравнивайте обнаружения на сложных и пустых сценах, а также на очевидных целях.
Постепенно интегрируйте траекторию камеры
Запустите сохраненные изображения перед захватом в реальном времени на Sige5 или Sige7s. Затем отдельно измерьте захват, предварительную обработку, вывод и постобработку. Следите за ошибками порядка цветов, шага и соотношения сторон. Запишите, как обрабатываются устаревшие кадры, если обработка выполняется медленнее, чем захват. Адаптивному приложению может потребоваться удалить старые кадры, а не помещать их в очередь на неопределенный срок.
Сопоставьте выбор с вашими требованиями
Требование или ситуация | Что оценить | Детали решения |
Ссылка | Модель и оценочный набор | Сохраняйте прогнозы перед конвертацией. |
Конверсия | Цель, точность и предупреждения | Проверьте точность после экспорта. |
Приложение | Политика прямой трансляции и очереди | Измерение сквозной задержки. |
Пример дизайна
Используйте контрольную точку сохраненного изображения перед обнаружением в реальном времени.
Сохраните небольшой набор, содержащий простые, сложные и негативные примеры. Сравните выходные данные исходной модели с преобразованной моделью, прежде чем вводить синхронизацию камеры, преобразование цвета или буферизацию. Если появляется несоответствие, эта контрольная точка сужает исследование до преобразования и предварительной обработки. Как только результаты будут приемлемыми, добавьте камеру реального времени и измерьте возраст кадра. Сохраняйте метки классов и обработку достоверности одинаковыми в обеих версиях.
Аппаратура и документация
Sige5 · RK3576
RK3576, четыре ядра Cortex-A72 и четыре ядра Cortex-A53, 6 TOPS NPU, двойной Gigabit Ethernet и M.2 PCIe 2.1 x1.
Документация по оборудованию · Описание товара
Sige7s · RK3588S
RK3588S, 6 TOPS NPU, Gigabit Ethernet и съемный eMMC. Размеры: 85 × 56 × 17 mm. Перед заменой eMMC отключите питание.
Документация по оборудованию · Описание товара
Часто задаваемые вопросы
Могу ли я предположить, что каждая модель ONNX конвертируется?
Нет. Необходимо проверить архитектуру, операторов, динамические формы и поддержку набора инструментов.
Информация о продукте и поддержка
Источники
Написано ArmSoM с использованием документации ниже. Примеры проектов — это предложения, а не измеренные установки клиентов.
Rockchip RKNN Toolkit2: поддерживаемые платформы и инструменты развертывания.
Rockchip RKNN Модельный зоопарк: примеры и поддерживаемые модели
