ArmSoM
← Alle Geschichten

How to Benchmark RK3588 and RK3576 NPU Performance Fairly

NPU Timing ist am einfachsten zu interpretieren, wenn es eine wiederholbare Aufgabe beschreibt. Eine einzelne Inferenzmessung lässt das Laden, die Datenkonvertierung und das Warten auf die Warteschlange aus. Melden Sie diese Kosten separat zusammen mit der Genauigkeit, die das getestete Modell erreicht hat.

ArmSoM Sige7s

ArmSoM Sige7s

Festlegung der Messgrenze

Geben Sie an, ob das Timing an einem erfassten Frame, einem vorbereiteten Tensor oder dem Inferenzaufruf beginnt. Fügen Sie das Aufwärmverhalten hinzu und wiederholen Sie den Lauf in einem repräsentativen Datensatz. Aufzeichnung von Modell, Präzision, Laufzeit, Eingabegröße und gleichzeitigen Workloads. Latenzvariation sichtbar halten, anstatt die am besten beobachtete Probe als normale Leistung darzustellen.

Maß an mehr als einer Grenze

Die reine Inferenzzeit ist nützlich für die Diagnose eines Beschleunigers, während die End-to-End-Zeit die Erfassung, Datenkonvertierung, Verarbeitung und Ausgabe umfasst. Beides nach Möglichkeit melden. Durchsatz und Latenz beantworten verschiedene Fragen: Ein Batch-System kann viele Frames verarbeiten, während es länger dauert, um ein Ergebnis zurückzugeben. Fügen Sie Tail Latenz und Drop Frames in interaktive Anwendungen ein.

Lange genug laufen, um Einschränkungen zu enthüllen

Prüfen Sie das vorgesehene Gehäuse, Kühlung und Versorgung. Beobachten Sie Temperatur, Uhrenwechsel, Speichernutzung und Servicestabilität. Wiederholen Sie Versuche und behalten Sie Rohprotokolle. Die Ergebnisse von Sige5, Sige7s und Sige7 sind die Messergebnisse dieser getesteten Systeme, nicht permanente Rankings für jedes Bild und Modell.

ArmSoM Sige5

ArmSoM Sige5

Passen Sie die Wahl an Ihre Anforderungen an

Anforderung oder Situation

Was zu bewerten ist

Einzelheiten der Entscheidung

Qualität

Aufgabengenauigkeit nach der Konvertierung

Nicht vergleichbare Outputs ablehnen.

Zeitplan

Inferenz und vollständige Pipeline

Geben Sie die Messgrenze an.

Bedingungen

Kühlung, Bild und Leistung

Wiederholen Sie es möglich.

Beispielhafte Gestaltung

Veröffentlichen Sie einen Benchmark, den ein anderer Entwickler wiederholen kann

Ein nützliches NPU-Ergebnis identifiziert die Platine, das Bild, den Konverter, die Laufzeit, das Modell, die Präzision, die Eingabeform und die Kühlung. Einschließen wiederholter Durchläufe und separates Kaltladen von der stationären Ausführung. Wenn der Test die Akquisition oder Nachbearbeitung ausschließt, sagen Sie dies neben dem Ergebnis. Melden Sie die Genauigkeit neben der Latenz, da ein schnelleres konvertiertes Modell, das die Qualitätsanforderung der Anwendung nicht erfüllt, keine Verbesserung darstellt. Bewahren Sie die Rohmessungen statt nur den besten Chartwert.

Keep the model and accuracy comparable

Record architecture, model checksum, input dimensions, batch size, precision and conversion settings. Include the output interpretation and thresholds. A smaller input or a different model can make a platform appear faster while solving a different problem.

Measure accuracy on the same representative evaluation set. Decide the minimum acceptable quality before comparing speed. For a detection application, inspect difficult scenes and class-specific behavior as well as an aggregate metric.

Rockchip's Model Zoo is useful for finding supported reference workloads. Treat any upstream performance table as a result under its stated conditions, not a guarantee for your board and application.

Separate four timing measurements

Measurement

What it answers

Inference latency

How long does one inference take under the defined runtime conditions?

Throughput

How many completed inputs are processed per second?

End-to-end latency

How old is an input when its useful result becomes available?

Startup time

How long until the system can process its first valid input?

Do not invert average latency to report throughput unless the execution model makes that valid. As a simple arithmetic example, a strictly serial 20 ms operation has an ideal upper rate of 50 operations per second before other work. Concurrent queues and pipeline stages change that relationship.

Measure end-to-end delay with timestamps that have a known relationship. Camera exposure timestamps, network arrival and application timestamps may come from different clocks; define what your measurement actually includes.

Use repeatable timing boundaries

Warm up the system before a steady-state run, but report cold-start behavior separately when it matters. Wait for asynchronous work to complete before stopping an inference timer. Otherwise the measurement may capture only submission overhead.

Use a monotonic clock and collect a distribution rather than one sample. Report a central value and a tail measure such as the 95th percentile, with the number of samples and run duration. Keep dropped or failed inputs visible instead of silently excluding them.

Measure power at a stated boundary

If energy matters, state where power is measured: board input, complete device input or a particular rail. Include the workload duration and baseline behavior. An input measurement that includes an SSD and fan cannot be compared directly with a processor-only number.

For battery-powered equipment, consider the duty cycle. Startup, idle periods, communication and sleep behavior can matter more than the peak inference interval. Use the product's operating pattern to estimate energy use.

Additional references

Hardware und Dokumentation

Sige5 · RK3576

RK3576, vier Cortex-A72 und vier Cortex-A53 Kerne, 6 TOPS NPU, Dual Gigabit Ethernet und M.2 PCIe 2.1 x1.

Hardware-Dokumentation · Produktdetails

Sige7s · RK3588S

RK3588S, 6 TOPS NPU, Gigabit Ethernet und Wechselbar eMMC. Abmessungen: 85 × 56 × 17 mm. Trennen Sie die Stromversorgung, bevor Sie eMMC ersetzen.

Hardware-Dokumentation · Produktdetails

Sige7 · RK3588

RK3588, 6 TOPS NPU, dual 2.5GbE und M.2 PCIe 3.0 x4. Überprüfen Sie die ausgewählte eMMC und die drahtlose Konfiguration.

Hardware-Dokumentation · Produktdetails

Häufig gestellte Fragen

Sollte ich nur den besten Lauf veröffentlichen?

Nein. Bericht wiederholte Ergebnisse und erklären Variation.

Können die Benchmark-Zahlen der Anbieter mit unseren eigenen gemischt werden?

Nur mit klar getrennten Quellen und Bedingungen; Sie sollten nicht als ein kontrollierter Test erscheinen.

Produktinformationen und Support

Sige5 entdecken

ArmSoM kontaktieren

Quellen

Geschrieben von ArmSoM mit der folgenden Dokumentation. Beispieldesigns sind Vorschläge, keine gemessenen Kundeninstallationen.

Verwandtes Lesen