Ein Onboard-NPU kann die Notwendigkeit eines separaten Beschleunigers überflüssig machen, vorausgesetzt, das Modell arbeitet mit seinen Werkzeugen. Für die Rockchip-Plattformen von ArmSoM gehören Modellkonvertierung und Laufzeitunterstützung in den Board-Selection-Prozess, bevor eine TOPS-Figur den Kauf beeinflusst.

ArmSoM Sige5
Probieren Sie das Modell aus, bevor Sie die Hardware festlegen
Überprüfen Sie die Operatoren des Modells, die Eingabeformen und den unterstützten Konvertierungspfad. Führen Sie repräsentative Eingaben aus und prüfen Sie die Ausgaben mit dem Originalmodell. Eine erfolgreiche Konvertierung ist nützlich, aber Genauigkeit und vollständige Reaktionszeit bestimmen, ob die Anwendung sie verwenden kann. Halten Sie CPU Vorverarbeitung und Nachverarbeitung in den Timing-Messungen.
Zählen Sie jede Stufe der Inferenz
Messen Sie Erfassung, Größenänderung, Normalisierung, Datenübertragung, Inferenz und Ergebnisbehandlung. Ein Beschleuniger kann eine Stufe verkürzen, während eine CPU-gebundene Vorverarbeitungsstufe unverändert bleibt. Fügen Sie den Speicher hinzu, der von Puffern und gleichzeitigen Diensten verwendet wird. Vergleichen Sie einen Zusatzbeschleuniger mit einem integrierten NPU bei der gleichen Modellpräzision und Ausgabequalität und behalten Sie die CPU-Implementierung als Richtigkeitsreferenz bei.

ArmSoM Sige7s
Passen Sie die Wahl an Ihre Anforderungen an
Anforderung oder Situation | Was zu bewerten ist | Einzelheiten der Entscheidung |
Nicht unterstützter Betreiber | Toolkit-Unterstützung überprüfen | Ein CPU-Fallback kann die Latenz ändern. |
Quantifizierungsfehler | Auswerten repräsentativer Proben | Verwenden Sie nicht nur ein einfaches Demo-Bild. |
Hohe Inferenzgeschwindigkeit, langsame Anwendung | Nicht-NPU-Stufen messen | End-to-End-Response-Zeit ist die Produktmetrik. |
Beispielhafte Gestaltung
Qualifizieren Sie das Modell, bevor Sie das Board auswählen
Nehmen Sie einen kleinen repräsentativen Datensatz und speichern Sie die Ausgaben des Originalmodells. Konvertieren Sie das Modell durch die beabsichtigte Rockchip-Toolchain und vergleichen Sie die Ausgaben mit dem akzeptablen Fehler der Anwendung. Wenn die Konvertierung eine Änderung der Vorverarbeitung oder den Austausch eines Operators erfordert, notieren Sie es. Erst dann wird ein Inferenz-Timing-Vergleich sinnvoll. Dies vermeidet die Auswahl eines NPU-Boards mit einer Headline-Funktion und die spätere Entdeckung, dass die Anwendung von einem nicht unterstützten Modellpfad abhängt.
Hardware und Dokumentation
Sige7s · RK3588S
RK3588S, 6 TOPS NPU, Gigabit Ethernet und Wechselbar eMMC. Abmessungen: 85 × 56 × 17 mm. Trennen Sie die Stromversorgung, bevor Sie eMMC ersetzen.
Hardware-Dokumentation · Produktdetails
Sige5 · RK3576
RK3576, vier Cortex-A72 und vier Cortex-A53 Kerne, 6 TOPS NPU, Dual Gigabit Ethernet und M.2 PCIe 2.1 x1.
Hardware-Dokumentation · Produktdetails
Häufig gestellte Fragen
Sind alle 6 TOPS Boards gleich schnell?
Nein. Software, Modellstruktur, Speicherverkehr und Pipeline-Design beeinflussen reale Ergebnisse.
Produktinformationen und Support
Quellen
Geschrieben von ArmSoM mit der folgenden Dokumentation. Beispieldesigns sind Vorschläge, keine gemessenen Kundeninstallationen.
