ArmSoM
← Все истории

How to Benchmark RK3588 and RK3576 NPU Performance Fairly

Время NPU легче всего интерпретировать, когда оно описывает повторяемую задачу. Единственное измерение вывода исключает загрузку, преобразование данных и постановку в очередь. Укажите эти затраты отдельно, а также точность, достигнутую тестируемой моделью.

ArmSoM Sige7s

ArmSoM Sige7s

Определите границу измерения

Укажите, начинается ли отсчет времени с захваченного кадра, подготовленного тензора или вызова вывода. Включите разминочное поведение и повторите прогон на репрезентативном наборе данных. Запишите модель, точность, время выполнения, размер входных данных и одновременные рабочие нагрузки. Держите изменение задержки видимым, а не представляйте лучший наблюдаемый образец как нормальную производительность.

Измерение более чем на одной границе

Время только для вывода полезно для диагностики ускорителя, тогда как сквозное время включает в себя захват, преобразование данных, обработку и вывод. Сообщите об обоих, где это возможно. Пропускная способность и задержка отвечают на разные вопросы: пакетная система может обрабатывать множество кадров, при этом для возврата какого-либо результата требуется больше времени. Включите задержку хвоста и пропущенные кадры в интерактивных приложениях.

Бегите достаточно долго, чтобы выявить ограничения.

Проверьте предполагаемый корпус, охлаждение и питание. Наблюдайте за температурой, изменениями часов, использованием памяти и стабильностью работы. Повторите испытания и сохраните необработанные журналы. Представляйте результаты Sige5, Sige7s и Sige7 как измерения протестированных систем, а не как постоянные рейтинги для каждого изображения и модели.

ArmSoM Sige5

ArmSoM Sige5

Сопоставьте выбор с вашими требованиями

Требование или ситуация

Что оценить

Детали решения

Качество

Точность задачи после конвертации

Откажитесь от несравнимых результатов.

Время

Вывод и полный конвейер

Укажите границу измерения.

Условия

Охлаждение, изображение и мощность

Сделайте повторение возможным.

Пример дизайна

Опубликуйте тест, который сможет повторить другой разработчик.

Полезный результат NPU определяет плату, изображение, преобразователь, время работы, модель, точность, форму ввода и охлаждение. Включите повторные прогоны и отделите холодную нагрузку от выполнения в установившемся режиме. Если тест исключает сбор данных или постобработку, укажите это рядом с результатом. Сообщайте о точности наряду с задержкой, поскольку более быстро преобразованная модель, не удовлетворяющая требованиям качества приложения, не является улучшением. Сохраняйте необработанные измерения, а не только лучшее значение диаграммы.

Keep the model and accuracy comparable

Record architecture, model checksum, input dimensions, batch size, precision and conversion settings. Include the output interpretation and thresholds. A smaller input or a different model can make a platform appear faster while solving a different problem.

Measure accuracy on the same representative evaluation set. Decide the minimum acceptable quality before comparing speed. For a detection application, inspect difficult scenes and class-specific behavior as well as an aggregate metric.

Rockchip's Model Zoo is useful for finding supported reference workloads. Treat any upstream performance table as a result under its stated conditions, not a guarantee for your board and application.

Separate four timing measurements

Measurement

What it answers

Inference latency

How long does one inference take under the defined runtime conditions?

Throughput

How many completed inputs are processed per second?

End-to-end latency

How old is an input when its useful result becomes available?

Startup time

How long until the system can process its first valid input?

Do not invert average latency to report throughput unless the execution model makes that valid. As a simple arithmetic example, a strictly serial 20 ms operation has an ideal upper rate of 50 operations per second before other work. Concurrent queues and pipeline stages change that relationship.

Measure end-to-end delay with timestamps that have a known relationship. Camera exposure timestamps, network arrival and application timestamps may come from different clocks; define what your measurement actually includes.

Use repeatable timing boundaries

Warm up the system before a steady-state run, but report cold-start behavior separately when it matters. Wait for asynchronous work to complete before stopping an inference timer. Otherwise the measurement may capture only submission overhead.

Use a monotonic clock and collect a distribution rather than one sample. Report a central value and a tail measure such as the 95th percentile, with the number of samples and run duration. Keep dropped or failed inputs visible instead of silently excluding them.

Measure power at a stated boundary

If energy matters, state where power is measured: board input, complete device input or a particular rail. Include the workload duration and baseline behavior. An input measurement that includes an SSD and fan cannot be compared directly with a processor-only number.

For battery-powered equipment, consider the duty cycle. Startup, idle periods, communication and sleep behavior can matter more than the peak inference interval. Use the product's operating pattern to estimate energy use.

Additional references

Аппаратура и документация

Sige5 · RK3576

RK3576, четыре ядра Cortex-A72 и четыре ядра Cortex-A53, 6 TOPS NPU, двойной Gigabit Ethernet и M.2 PCIe 2.1 x1.

Документация по оборудованию · Описание товара

Sige7s · RK3588S

RK3588S, 6 TOPS NPU, Gigabit Ethernet и съемный eMMC. Размеры: 85 × 56 × 17 mm. Перед заменой eMMC отключите питание.

Документация по оборудованию · Описание товара

Sige7 · RK3588

RK3588, 6 TOPS NPU, двойной 2.5GbE и M.2 PCIe 3.0 x4. Проверьте выбранный eMMC и конфигурацию беспроводной сети.

Документация по оборудованию · Описание товара

Часто задаваемые вопросы

Стоит ли публиковать только лучшие прогоны?

Нет. Сообщите о повторяющихся результатах и ​​объясните различия.

Могут ли результаты тестов поставщиков смешиваться с нашими собственными?

Только при четко разделенных источниках и условиях; они не должны выглядеть как один контролируемый тест.

Информация о продукте и поддержка

Подробнее о Sige5

Связаться с ArmSoM

Источники

Написано ArmSoM с использованием документации ниже. Примеры проектов — это предложения, а не измеренные установки клиентов.

Похожие материалы