ArmSoM
← Alle Geschichten

Auswahl eines SBC mit Onboard AI: Was Raspberry Pi-Benutzer überprüfen sollten

Ein Onboard-NPU kann die Notwendigkeit eines separaten Beschleunigers überflüssig machen, vorausgesetzt, das Modell arbeitet mit seinen Werkzeugen. Für die Rockchip-Plattformen von ArmSoM gehören Modellkonvertierung und Laufzeitunterstützung in den Board-Selection-Prozess, bevor eine TOPS-Figur den Kauf beeinflusst.

ArmSoM Sige5

ArmSoM Sige5

Probieren Sie das Modell aus, bevor Sie die Hardware festlegen

Überprüfen Sie die Operatoren des Modells, die Eingabeformen und den unterstützten Konvertierungspfad. Führen Sie repräsentative Eingaben aus und prüfen Sie die Ausgaben mit dem Originalmodell. Eine erfolgreiche Konvertierung ist nützlich, aber Genauigkeit und vollständige Reaktionszeit bestimmen, ob die Anwendung sie verwenden kann. Halten Sie CPU Vorverarbeitung und Nachverarbeitung in den Timing-Messungen.

Zählen Sie jede Stufe der Inferenz

Messen Sie Erfassung, Größenänderung, Normalisierung, Datenübertragung, Inferenz und Ergebnisbehandlung. Ein Beschleuniger kann eine Stufe verkürzen, während eine CPU-gebundene Vorverarbeitungsstufe unverändert bleibt. Fügen Sie den Speicher hinzu, der von Puffern und gleichzeitigen Diensten verwendet wird. Vergleichen Sie einen Zusatzbeschleuniger mit einem integrierten NPU bei der gleichen Modellpräzision und Ausgabequalität und behalten Sie die CPU-Implementierung als Richtigkeitsreferenz bei.

ArmSoM Sige7s

ArmSoM Sige7s

Passen Sie die Wahl an Ihre Anforderungen an

Anforderung oder Situation

Was zu bewerten ist

Einzelheiten der Entscheidung

Nicht unterstützter Betreiber

Toolkit-Unterstützung überprüfen

Ein CPU-Fallback kann die Latenz ändern.

Quantifizierungsfehler

Auswerten repräsentativer Proben

Verwenden Sie nicht nur ein einfaches Demo-Bild.

Hohe Inferenzgeschwindigkeit, langsame Anwendung

Nicht-NPU-Stufen messen

End-to-End-Response-Zeit ist die Produktmetrik.

Beispielhafte Gestaltung

Qualifizieren Sie das Modell, bevor Sie das Board auswählen

Nehmen Sie einen kleinen repräsentativen Datensatz und speichern Sie die Ausgaben des Originalmodells. Konvertieren Sie das Modell durch die beabsichtigte Rockchip-Toolchain und vergleichen Sie die Ausgaben mit dem akzeptablen Fehler der Anwendung. Wenn die Konvertierung eine Änderung der Vorverarbeitung oder den Austausch eines Operators erfordert, notieren Sie es. Erst dann wird ein Inferenz-Timing-Vergleich sinnvoll. Dies vermeidet die Auswahl eines NPU-Boards mit einer Headline-Funktion und die spätere Entdeckung, dass die Anwendung von einem nicht unterstützten Modellpfad abhängt.

Hardware und Dokumentation

Sige7s · RK3588S

RK3588S, 6 TOPS NPU, Gigabit Ethernet und Wechselbar eMMC. Abmessungen: 85 × 56 × 17 mm. Trennen Sie die Stromversorgung, bevor Sie eMMC ersetzen.

Hardware-Dokumentation · Produktdetails

Sige5 · RK3576

RK3576, vier Cortex-A72 und vier Cortex-A53 Kerne, 6 TOPS NPU, Dual Gigabit Ethernet und M.2 PCIe 2.1 x1.

Hardware-Dokumentation · Produktdetails

Häufig gestellte Fragen

Sind alle 6 TOPS Boards gleich schnell?

Nein. Software, Modellstruktur, Speicherverkehr und Pipeline-Design beeinflussen reale Ergebnisse.

Produktinformationen und Support

Sige7s entdecken

ArmSoM kontaktieren

Quellen

Geschrieben von ArmSoM mit der folgenden Dokumentation. Beispieldesigns sind Vorschläge, keine gemessenen Kundeninstallationen.

Verwandtes Lesen