ArmSoM
← Alle Geschichten

RKNN oder eine CPU Runtime? Wählen Sie einen Inferenzpfad für Ihren ARM SBC

CPU Inferenz ist eine nützliche Basislinie, auch wenn ein RKNN Pfad verfügbar ist. Es zeigt, ob die Konvertierung die Genauigkeit ändert und ob die Beschleunigung die Gesamtantwortzeit der Anwendung verbessert. Der größte Gewinn in einem isolierten Kernel ist möglicherweise nicht der größte Gewinn für den Benutzer.

ArmSoM Sige5

ArmSoM Sige5

Verwenden Sie den CPU-Pfad als Referenz

Führen Sie die gleichen Eingaben durch das Originalmodell und die konvertierte Version aus. Vergleichen Sie die Ausgaben, bevor Sie die Zeit vergleichen. Beziehen Sie Vorverarbeitung, Nachverarbeitung und Datenbewegung in die Anwendungsmessung ein. Wenn das Modell nicht unterstützte Operationen enthält, notieren Sie, wo sie ausgeführt werden und wie viel Zeit sie hinzufügen.

Bewerten der Conversion als Engineering-Schritt

Überprüfen Sie die aktuelle RKNN Zielunterstützung und Modellbeispiel. Überprüfen Sie Quantisierung und Operatorverhalten, vergleichen Sie dann die Ausgaben mit der Referenz. Eine geringere Inferenzzeit ist nur dann sinnvoll, wenn die Qualität akzeptabel bleibt und die Datenbewegung die Einsparung nicht verbraucht. Behalten Sie die Konvertierungseinstellungen mit dem Modellartefakt bei.

Wählen Sie ein wartendes Release

Für Sige5 oder Sige7, Pin-kompatibles Toolkit, Laufzeit und Treiberversionen. Entscheiden Sie, wie ein Modell-Update konvertiert, getestet und zurückgesetzt wird. Wenn ein kleines CPU-Modell die Anforderung bereits erfüllt, ist eine zusätzliche Beschleunigung die Integrationsarbeit möglicherweise nicht wert. Wenn der CPU durch gleichzeitige Dienste überlastet wird, kann ein NPU-Pfad Ressourcen freisetzen, auch wenn der Rohdurchsatz nicht das primäre Ziel ist.

ArmSoM Sige7

ArmSoM Sige7

Passen Sie die Wahl an Ihre Anforderungen an

Anforderung oder Situation

Was zu bewerten ist

Einzelheiten der Entscheidung

CPU Baseline

Bezugsgenauigkeit und -zeit

Vereinfacht die Erstdiagnose.

RKNN-Test

Umwandlungs- und Laufzeitvalidierung

Gesamtnutzen der Anwendung messen.

Freigabe

Versioniertes Modell und Rollback

Wiederholen Sie nach Updates.

Beispielhafte Gestaltung

Behalten Sie eine CPU-Implementierung als Richtigkeitsreferenz

Ein CPU-Pfad kann während der Entwicklung wertvoll sein, auch wenn die bereitgestellte Anwendung den NPU verwendet. Führen Sie die gleichen Eingaben durch beide und vergleichen Sie die Ausgaben innerhalb der Anwendungstoleranz. Wenn die Beschleunigung das Ergebnis ändert, prüfen Sie die Vorverarbeitung, die Präzision und die nicht unterstützten Operationen, bevor Sie die Geschwindigkeit optimieren. Der bevorzugte Produktionspfad ist derjenige, der die Genauigkeits- und Latenzanforderungen mit einem Update- und Wiederherstellungsprozess erfüllt, den das Team pflegen kann.

Hardware und Dokumentation

Sige5 · RK3576

RK3576, vier Cortex-A72 und vier Cortex-A53 Kerne, 6 TOPS NPU, Dual Gigabit Ethernet und M.2 PCIe 2.1 x1.

Hardware-Dokumentation · Produktdetails

Sige7 · RK3588

RK3588, 6 TOPS NPU, dual 2.5GbE und M.2 PCIe 3.0 x4. Überprüfen Sie die ausgewählte eMMC und die drahtlose Konfiguration.

Hardware-Dokumentation · Produktdetails

Häufig gestellte Fragen

Sollte jedes Modell den NPU verwenden?

Nein. Nicht unterstützte Modelle und bereits ausreichende CPU-Workloads profitieren möglicherweise nicht von der Konvertierung.

Produktinformationen und Support

Sige5 entdecken

ArmSoM kontaktieren

Quellen

Geschrieben von ArmSoM mit der folgenden Dokumentation. Beispieldesigns sind Vorschläge, keine gemessenen Kundeninstallationen.

Verwandtes Lesen