CPU Inferenz ist eine nützliche Basislinie, auch wenn ein RKNN Pfad verfügbar ist. Es zeigt, ob die Konvertierung die Genauigkeit ändert und ob die Beschleunigung die Gesamtantwortzeit der Anwendung verbessert. Der größte Gewinn in einem isolierten Kernel ist möglicherweise nicht der größte Gewinn für den Benutzer.

ArmSoM Sige5
Verwenden Sie den CPU-Pfad als Referenz
Führen Sie die gleichen Eingaben durch das Originalmodell und die konvertierte Version aus. Vergleichen Sie die Ausgaben, bevor Sie die Zeit vergleichen. Beziehen Sie Vorverarbeitung, Nachverarbeitung und Datenbewegung in die Anwendungsmessung ein. Wenn das Modell nicht unterstützte Operationen enthält, notieren Sie, wo sie ausgeführt werden und wie viel Zeit sie hinzufügen.
Bewerten der Conversion als Engineering-Schritt
Überprüfen Sie die aktuelle RKNN Zielunterstützung und Modellbeispiel. Überprüfen Sie Quantisierung und Operatorverhalten, vergleichen Sie dann die Ausgaben mit der Referenz. Eine geringere Inferenzzeit ist nur dann sinnvoll, wenn die Qualität akzeptabel bleibt und die Datenbewegung die Einsparung nicht verbraucht. Behalten Sie die Konvertierungseinstellungen mit dem Modellartefakt bei.
Wählen Sie ein wartendes Release
Für Sige5 oder Sige7, Pin-kompatibles Toolkit, Laufzeit und Treiberversionen. Entscheiden Sie, wie ein Modell-Update konvertiert, getestet und zurückgesetzt wird. Wenn ein kleines CPU-Modell die Anforderung bereits erfüllt, ist eine zusätzliche Beschleunigung die Integrationsarbeit möglicherweise nicht wert. Wenn der CPU durch gleichzeitige Dienste überlastet wird, kann ein NPU-Pfad Ressourcen freisetzen, auch wenn der Rohdurchsatz nicht das primäre Ziel ist.

ArmSoM Sige7
Passen Sie die Wahl an Ihre Anforderungen an
Anforderung oder Situation | Was zu bewerten ist | Einzelheiten der Entscheidung |
CPU Baseline | Bezugsgenauigkeit und -zeit | Vereinfacht die Erstdiagnose. |
RKNN-Test | Umwandlungs- und Laufzeitvalidierung | Gesamtnutzen der Anwendung messen. |
Freigabe | Versioniertes Modell und Rollback | Wiederholen Sie nach Updates. |
Beispielhafte Gestaltung
Behalten Sie eine CPU-Implementierung als Richtigkeitsreferenz
Ein CPU-Pfad kann während der Entwicklung wertvoll sein, auch wenn die bereitgestellte Anwendung den NPU verwendet. Führen Sie die gleichen Eingaben durch beide und vergleichen Sie die Ausgaben innerhalb der Anwendungstoleranz. Wenn die Beschleunigung das Ergebnis ändert, prüfen Sie die Vorverarbeitung, die Präzision und die nicht unterstützten Operationen, bevor Sie die Geschwindigkeit optimieren. Der bevorzugte Produktionspfad ist derjenige, der die Genauigkeits- und Latenzanforderungen mit einem Update- und Wiederherstellungsprozess erfüllt, den das Team pflegen kann.
Hardware und Dokumentation
Sige5 · RK3576
RK3576, vier Cortex-A72 und vier Cortex-A53 Kerne, 6 TOPS NPU, Dual Gigabit Ethernet und M.2 PCIe 2.1 x1.
Hardware-Dokumentation · Produktdetails
Sige7 · RK3588
RK3588, 6 TOPS NPU, dual 2.5GbE und M.2 PCIe 3.0 x4. Überprüfen Sie die ausgewählte eMMC und die drahtlose Konfiguration.
Hardware-Dokumentation · Produktdetails
Häufig gestellte Fragen
Sollte jedes Modell den NPU verwenden?
Nein. Nicht unterstützte Modelle und bereits ausreichende CPU-Workloads profitieren möglicherweise nicht von der Konvertierung.
Produktinformationen und Support
Quellen
Geschrieben von ArmSoM mit der folgenden Dokumentation. Beispieldesigns sind Vorschläge, keine gemessenen Kundeninstallationen.
