Ein praktischer Blick auf größere Modelle, flexibleres Speichermanagement und Tools, die dazu beitragen, KI-Projekte von der Bewertung bis zur Bereitstellung zu verbessern.

Eine ArmSoM-Entwicklerübersicht des RKNN3 SDK V1.2.0 von Rockchip.
Die Bereitstellung von KI am Rande beinhaltet mehr als die Auswahl eines Modells. Entwickler müssen auch Speicher verwalten, Beschleuniger anschließen, Modellausgaben validieren und Inferenz in eine Anwendung integrieren.
Rockchips RKNN3 SDK V1.2.0 adressiert diese praktischen Herausforderungen mit neuer Mixture-of-Experts-Unterstützung, PagedAttention, separaten LoRA-Gewichtsexporten und erweiterter Host-Plattform-Unterstützung. Neben dem RKNN Center und dem neuen RKNN3 MCP Deployment Assistant bietet das Update Entwicklern mehr Möglichkeiten, lokale KI-Anwendungen zu erstellen und zu bewerten.
Für Teams, die mit RK182X-Beschleunigern arbeiten, erweitert die Version sowohl die Palette der verfügbaren Modelle als auch die Werkzeuge, mit denen sie in ein funktionierendes System integriert werden.
MoE-Unterstützung öffnet die Tür zu größeren Modellen
Eine wichtige Ergänzung in V1.2.0 ist die Unterstützung für Mixture-of-Experten- oder MoE-Modelle. Die aktualisierte Modellliste von Rockchip umfasst Qwen3-30B-A3B, Qwen3.5-35B-A3B und MiniCPM-V-4.7-35B-A3B. Die Version fügt auch PagedAttention und Unterstützung für den Export mehrerer separater LoRA-Gewichte hinzu. Rockchip RKNN3 Toolkit
MoE-Architekturen aktivieren ausgewählte Experten für jeden Token, so dass ein Modell eine große Gesamtparameterzahl hat, während es während der Berechnung einen kleineren Teil verwendet. Zum Beispiel hat Qwen3.5-35B-A3B 35 Milliarden Gesamtparameter und ungefähr 3 Milliarden aktivierte Parameter. Qwen Modellkarte
Diese Unterscheidung ist bei der Planung eines Einsatzes wichtig. Die Anzahl der aktivierten Parameter ist nicht dasselbe wie der Speicherfußabdruck. Modellgewichte, Quantisierung, Laufzeitpuffer und Aufmerksamkeitszustand tragen immer noch zu den Speicheranforderungen bei.
Für Entwickler bietet MoE-Unterstützung die Möglichkeit, größere Modelle für lokale Assistenten, Dokumentenanalysen und multimodale Anwendungen zu bewerten. Die passende Hardware-Konfiguration hängt weiterhin vom genauen Modell und der Workload ab.
Besseres Speichermanagement und flexiblere Anpassung
Lange Gespräche und gleichzeitige Anfragen können den Inferenzgedächtnis erheblich unter Druck setzen.
Die neue PagedAttention Die Unterstützung soll das Aufmerksamkeits-Cache-Speichermanagement verbessern, die Fragmentierung reduzieren und die Speicherzuweisung flexibler gestalten. Dies ist besonders relevant bei der Auswertung von Diensten mit unterschiedlichen Eingabelängen oder mehreren aktiven Sitzungen.
Der praktische Nutzen sollte anhand repräsentativer Workloads gemessen werden: Eine kurze Einzelbenutzerdemonstration stellt sehr unterschiedliche Anforderungen an ein System als ein Dokumentenverarbeitungsdienst, der mehrere Anforderungen bearbeitet.
V1.2.0 unterstützt auch den Export mehrerer LoRA-Gewichte separat. Dies gibt Entwicklern mehr Flexibilität bei der Pflege spezialisierter Anpassungen eines Basismodells – zum Beispiel unterschiedliche Terminologie oder unterschiedliches Reaktionsverhalten für technischen Support, industrielle Dokumentation oder eine bestimmte Geschäftsdomäne.

MoE-Unterstützung, Aufmerksamkeits-Cache-Management und separate LoRA-Exporte betreffen verschiedene Teile des Bereitstellungsproblems.
RKNN Center bringt Entwicklungsaufgaben zusammen
RKNN Center bietet einen gemeinsamen Arbeitsbereich für die Verbindung von Geräten, die Abrufung von Modellen, die Konfiguration von Inferenzdiensten und die Überprüfung von Ergebnissen.
Der Workflow umfasst:
Geräteverwaltung: Verbinden und Verwalten von unterstützten Beschleunigern und Entwicklungsboards.
Modellverwaltung: Laden Sie Modellressourcen herunter oder importieren Sie lokale Dateien.
Inferenzdienste: Konfigurieren Sie Modelle, Service-Ports und Inferenzparameter.
Application Debugging: Testen Sie das Modellverhalten durch vernetzte Anwendungen.
Leistungsanalyse: Führen Sie Benchmarks aus, überwachen Sie Geräte und inspizieren Sie Protokolle.
Die mitgelieferten RKNN Center Release-Materialien beschreiben auch unabhängige API-Dienste, unterstützte Multi-Card-Bereitstellungen, eine Desktop-Schnittstelle und Kommandozeilen-Tools. OpenAI-kompatible Schnittstellen bieten einen Integrationspfad für Anwendungen, die bereits dieses API-Format verwenden.
Die Zusammenführung dieser Aufgaben kann die Rückkopplungsschleife zwischen der Auswahl eines Modells und dem Verständnis seines Verhaltens auf dem Zielgerät verkürzen.
Die Modellressourcen des RKNN Centers umfassen mehrere Rockchip-Plattformen. Entwickler sollten weiterhin den Software-Stack und das Modellpaket überprüfen, die von jedem Ziel benötigt werden; eine Shared-Management-Schnittstelle macht Modelle nicht austauschbar über verschiedene NPUs.

RKNN Center kombiniert Geräte-, Modell-, Service- und Validierungsaufgaben. Desktop-Plattform-Unterstützung wird separat von SDK-Coprozessor-Unterstützung angezeigt.
Eine breitere Modellbibliothek für reale Anwendungen
Das Update führt Modelloptionen für Sprache, Vision, Sprache, Dokumentenverständnis und Robotik ein.
Fläche | Beispiele, die im Update hervorgehoben wurden | Potenzielle Bewertungsszenarien |
Sprachmodelle | Spark-X2.5, miniCPM5-2B | Lokale Assistenten und Textverarbeitung |
Visionssprachmodelle | MiniCPM-V-4.7-1B, Mage-VL | Bildverständnis und multimodale Interaktion |
Redebeitrag | Qwen3-ForcedAligner, Lautsprecher-Diarization und On-Device ASR | Transkription, Sprachausrichtung und Sprecheranalyse |
OCR | Unlimited-OCR, Dots OCR-Serie | Dokumentenerkennung und Informationsextraktion |
Robotik | GR00T-N1.7-3B, openpi | Vision-Sprache-Aktion und verkörperte KI-Experimente |
Entscheidungsmodelle | Intern-Entscheidungs-0.8B | Entscheidungsorientierte Agenten-Workflows |
Rockchip’s RKNN3 Modell Zoo liefert modellspezifische Beispiele und Bereitstellungsleitlinien. Dies sind nützliche Ansatzpunkte, um Abhängigkeiten, Exportanforderungen und unterstützte Konfigurationen zu überprüfen.
Laut den Veröffentlichungsmaterialien bietet RKNN-Modell jetzt mehr als 80-Modelle durch Hugging Face und ModelScope, die Bereiche wie LLMs, VLMs, Spracherkennung und OCR abdecken.
Für einen ersten Prototyp kann der Beginn mit einem vorbereiteten Modellpaket dazu beitragen, die Anwendungsentwicklung von der zusätzlichen Arbeit der Modellkonvertierung zu trennen.

Beispiele, die in den Releasematerialien hervorgehoben wurden. Überprüfen Sie das Paket und die Bereitstellungsanleitung für jedes Modell.
RKNN3 MCP fügt AI-Assisted Deployment hinzu
Die neue RKNN3 MCP-Bereitstellungsassistent, eingeführt in Beta, verbindet KI-Entwicklungstools mit RKNN3-Bereitstellungswissen und -Workflows.
Entwickler können eine Bereitstellungsanforderung in natürlicher Sprache beschreiben. Der Assistent hilft bei der Planung des Prozesses und koordiniert über einen kompatiblen Agenten Aufgaben wie Modellanalyse, ONNX-Export, RKNN3-Konvertierung, Genauigkeitsprüfungen und Bereitstellung auf einer Platine. Rockchip RKNN3 Dokumentation
Die Begleitmaterialien heben vier Fähigkeiten hervor:
Bereitstellungsplanung basierend auf dem Modell und der Zielplattform.
Ausführung der erforderlichen Schritte, nachdem der Plan bestätigt wurde.
Tracking von Task-Phasen, generierten Artefakten und Validierungsergebnissen.
Wiederherstellung des aufgezeichneten Aufgabenzustands nach einer Unterbrechung.
Modellverarbeitungs- und Board-Operationen werden in der lokalen Umgebung oder im Arbeitsserver des Benutzers ausgeführt. Modellgewichte und Quellcode müssen nicht auf den RKNN3 MCP Server hochgeladen werden.
Dieser Ansatz kann die sich wiederholende Einrichtungsarbeit reduzieren und gleichzeitig Bereitstellungsartefakte und Validierungsergebnisse für die technische Überprüfung zur Verfügung stellen.

RKNN3 MCP ist ein KI-unterstützter Bereitstellungsworkflow in Beta; Die spezifische Unterstützung hängt vom Modell, der Plattform und der SDK-Version ab.
Erweiterte Linux, macOS und Windows Unterstützung
V1.2.0 erweitert die Entwicklung von RK182X-Coprozessoren auf Linux x86_64 und macOS arm64. Dadurch erhalten Entwickler mehr Flexibilität, um mit einem externen RK182X-Beschleuniger aus ihren bestehenden Entwicklungsmaschinen zu arbeiten.
Windows erhält Ethernet-Kommunikationsunterstützung für den RK182X-Coprozessormodus, zusammen mit USB-Kommunikationsverbesserungen. Die Version enthält auch Operator Fixes, numerische Präzisionsverbesserungen und Ethernet-Stabilitätskorrekturen. Rockchip V1.2.0 Changelog
Die macOS-Ergänzung betrifft den unterstützten SDK-Coprozessor-Workflow. Die von RKNN Center bereitgestellte Desktop-Plattformliste identifiziert Windows x86_64, Linux x86_64 und Linux ARM64 separat.

Die Workflows von RK182X-Coprozessoren erhalten eine breitere Unterstützung für die Host-Plattform. Dies ist ein konzeptionelles Diagramm, kein Hardware-Produktfoto.
Den richtigen Weg für ein ArmSoM-Projekt wählen
Für ArmSoM-Entwickler ist es wichtig, den Host-Prozessor vom Beschleuniger zu unterscheiden, der das Modell ausführt.
RK1820 und RK1828 arbeiten als Coprozessoren, während RK3572 verwendet das integrierte NPU im RKNN3-Workflow. Rockchip führt diese Bereitstellungskonfigurationen in seiner RKNN3 Plattformdokumentation.
Eine RK3588- oder RK3576-basierte Platine kann als Host in unterstützten RK182X-Konfigurationen dienen. Das eigene integrierte NPU verwendet weiterhin den entsprechenden Software-Stack RKNN-Toolkit2 oder RKLLM. Das Hinzufügen von RKNN3 zu einem Hostsystem gibt dem internen NPU dieses Hosts nicht automatisch die gleichen Funktionen wie einem RK182X-Beschleuniger. RKNN-Toolkit2-Plattformführung
Beginnen Sie bei der Bewertung des Updates mit einem unterstützten Modell und einer definierten Anwendungsaufgabe. Messen Sie die Ausgabequalität, die Speichernutzung, die Antwortlatenz und den anhaltenden Betrieb, bevor Sie die Kontextlänge, die Parallelität oder die Modellgröße erhöhen.

Eine vorgeschlagene Bewertungssequenz für einen ersten Prototyp. Konzeptioneller Workflow, erstellt von ArmSoM.
Für Hardware-Dokumentation und Projektressourcen, besuchen Sie ArmSoM Dokumentation. Um eine Hardwareplattform oder ein OEM / ODM-Projekt zu besprechen, kontaktieren Sie sales@armsom.org.
Über diese Illustrationen
Diese englischen redaktionellen Grafiken wurden für ArmSoM unter Verwendung der mitgelieferten Release-Materialien erstellt. RK182X Silizium und die hier diskutierten RKNN Softwaretechnologien stammen von Rockchip. Diagrammierte Workflows sind erklärende Illustrationen und nicht Produktfotos oder offizielle Software-Screenshots.
