ArmSoM
← 所有故事

RKNN3 SDK V1.2.0 for RK182X:MoE模型和更轻松的边缘AI部署

实际了解更大的模型、更灵活的内存管理和工具,帮助边缘人工智能项目从评估到部署。

RKNN3 SDK V1.2.0 更新:MoE、内存管理、RKNN Center 和 RKNN3 MCP。

ArmSoM 开发者对 Rockchip 的 RKNN3 SDK V1.2.0 的概述。

在边缘部署人工智能不仅仅涉及选择模型。开发人员还需要管理内存、连接加速器、验证模型输出并将推理集成到应用程序中。

Rockchip 的 RKNN3 SDK V1.2.0 通过新的 Mixture-of-Experts 支持、PagedAttention、单独的 LoRA 权重导出和扩展的主机平台支持解决了这些实际挑战。除了 RKNN Center 和新的 RKNN3 MCP 部署助手之外,此次更新还为开发人员提供了更多用于构建和评估本地 AI 应用程序的选项。

对于使用 RK182X 加速器的团队来说,该版本扩展了可用模型的范围以及用于将其引入工作系统的工具。

教育部的支持为更大的模型打开了大门

V1.2.0 中的一个主要补充是支持 专家混合模型(MoE)。 Rockchip更新的型号列表包括Qwen3-30B-A3B、Qwen3.5-35B-A3B和MiniCPM-V-4.7-35B-A3B。该版本还增加了 PagedAttention 并支持导出多个单独的 LoRA 权重。 Rockchip RKNN3 工具包

MoE 架构为每个代币激活选定的专家,允许模型拥有较大的总参数数量,同时在计算过程中使用较小的部分。例如,Qwen3.5-35B-A3B 的总参数为 35 十亿,激活参数约为 3 十亿。 Qwen模型卡

在规划部署时,这种区别很重要。 激活的参数计数与内存占用不同。 模型权重、量化、运行时缓冲区和注意力状态仍然会影响内存需求。

对于开发人员来说,教育部的支持创造了评估本地助理、文档分析和多模式应用程序的大型模型的机会。适当的硬件配置仍然取决于确切的型号和工作负载。

更好的内存管理和更灵活的适配

长时间对话和并发请求会给推理内存带来巨大压力。

新 分页注意 支持旨在改进注意力缓存内存管理,减少碎片并使内存分配更加灵活。当评估具有不同输入长度或多个活动会话的服务时,这一点尤其重要。

应使用代表性工作负载来衡量实际收益:简短的单用户演示对系统提出的要求与处理多个请求的文档处理服务截然不同。

V1.2.0还支持单独导出多个LoRA权重。这为开发人员在维护基本模型的专门适应性时提供了更大的灵活性,例如,技术支持、工业文档或特定业务领域的不同术语或响应行为。

三个受支持的 MoE 模型示例、PagedAttention 和单独的 LoRA 权重导出。

MoE 支持、注意力缓存管理和单独的 LoRA 导出解决了部署问题的不同部分。

RKNN中心集中开发任务

RKNN Center 提供了一个公共工作空间,用于连接设备、获取模型、配置推理服务和检查结果。

其工作流程涵盖:

  • 设备管理: 连接和管理支持的加速器和开发板。

  • 模型管理: 下载模型资源或导入本地文件。

  • 推理服务: 配置模型、服务端口和推理参数。

  • 应用程序调试: 通过连接的应用程序测试模型行为。

  • 性能分析: 运行基准测试、监控设备并检查日志。

提供的 RKNN Center 发布材料还描述了独立的 API 服务、支持的多卡部署、桌面界面和命令行工具。 OpenAI 兼容接口为已经使用该 API 格式的应用程序提供了集成路径。

将这些任务结合在一起可以缩短选择模型和了解其在目标设备上的行为之间的反馈循环。

RKNN中心的模型资源跨越多个Rockchip平台。开发人员仍应检查每个目标所需的软件堆栈和模型包;共享管理接口并不能使不同 NPU 之间的模型互换。

六种 RKNN Center 功能和支持的桌面平台。

RKNN 中心结合了设备、模型、服务和验证任务。桌面平台支持与 SDK 协处理器支持分开显示。

更广泛的实际应用模型库

该更新引入了跨语言、视觉、语音、文档理解和机器人技术的模型选项。

面积

更新中突出显示的示例

潜在的评估场景

语言模型

Spark-X2.5,miniCPM5-2B

本地助手和文本处理

视觉语言模型

MiniCPM-V-4.7-1B,法师-VL

图像理解与多模态交互

演讲

Qwen3-ForcedAligner,说话人分类和设备上 ASR

转录、语音对齐和说话人分析

OCR

无限-OCR、点阵OCR系列

文档识别与信息提取

机器人

GR00T-N1.7-3B,openpi

视觉-语言-动作和具体化-AI 实验

决策模型

实习生决策-0.8B

面向决策的代理工作流程

Rockchip’s RKNN3 模型动物园 提供特定于模型的示例和部署指南。这些是检查依赖项、导出要求和支持的配置的有用起点。

根据发布资料,RKNN-Model目前通过Hugging Face和ModelScope提供80以上的模型,涵盖LLM、VLM、语音识别、OCR等领域。

对于第一个原型,从准备好的模型包开始可以帮助将应用程序开发与模型转换的额外工作分开。

RKNN3 跨语言、视觉、语音、OCR、机器人和决策代理的模型示例。

发布材料中突出显示的示例。检查每个型号的包和部署指南。

RKNN3 MCP 新增AI辅助部署

新 RKNN3 MCP部署助手,在 Beta 版中推出,将 AI 开发工具与 RKNN3 部署知识和工作流程连接起来。

开发人员可以用自然语言描述部署需求。该助手可帮助规划流程,并通过兼容的代理协调模型分析、ONNX 导出、RKNN3 转换、准确性检查和部署到电路板等任务。 Rockchip RKNN3 文档

随附材料强调了四种功能:

  • 基于模型和目标平台的部署规划。

  • 计划确认后执行所需步骤。

  • 跟踪任务阶段、生成的工件和验证结果。

  • 中断后恢复记录的任务状态。

模型处理和棋盘操作在用户的本地环境或工作服务器中运行。模型权重和源代码不需要上传到RKNN3 MCP服务器。

这种方法可以减少重复的设置工作,同时保持部署工件和验证结果可供工程审查。

RKNN3 MCP Beta 工作流程从模型分析到部署,具有本地处理和可恢复的任务状态。

RKNN3 MCP 是 Beta 版的 AI 辅助部署工作流程;具体支持取决于型号、平台和 SDK 版本。

扩展了 Linux、macOS 和 Windows 支持

V1.2.0 将 RK182X 协处理器开发扩展到 Linux x86_64 和 macOS arm64。这使开发人员能够更灵活地使用现有开发机器上的外部 RK182X 加速器。

Windows 获得对 RK182X 协处理器模式的以太网通信支持,以及 USB 通信改进。该版本还包括运营商修复、数值精度改进和以太网稳定性修复。 Rockchip V1.2.0 变更日志

macOS 添加涉及支持的 SDK 协处理器工作流程。 RKNN中心提供的桌面平台列表分别标识了Windows x86_64、Linux x86_64和Linux ARM64。

Linux x86_64、macOS arm64 和 Windows 托管 Rockchip RK182X 加速器的工作流程。

RK182X 协处理器工作流程获得更广泛的主机平台支持。这是概念图,而不是硬件产品照片。

为 ArmSoM 项目选择正确的路径

对于 ArmSoM 开发人员来说,区分主机处理器和运行模型的加速器非常重要。

RK1820 和 RK1828 作为协处理器运行,同时 RK3572 使用其集成的 NPU 适用于 RKNN3 工作流程。Rockchip 在以下资料中列出了这些部署配置: RKNN3 平台文档.

基于 RK3588 或 RK3576 的板可以在受支持的 RK182X 配置中充当主机。其自己的集成NPU继续使用适用的RKNN-Toolkit2或RKLLM软件堆栈。将 RKNN3 添加到主机系统不会自动赋予该主机的内部 NPU 与 RK182X 加速器相同的功能。 RKNN-Toolkit2平台指导

评估更新时,从一个支持的模型和定义的应用程序任务开始。在增加上下文长度、并发性或模型大小之前测量输出质量、内存使用、响应延迟和持续操作。

四个阶段:连接设备、导入模型、配置推理服务和验证结果。

第一个原型的建议评估顺序。由 ArmSoM 准备的概念工作流程。

有关硬件文档和项目资源,请访问 ArmSoM 文档。要讨论硬件平台或 OEM/ODM 项目,请联系 sales@armsom.org.

关于这些插图

这些英文编辑图形是使用提供的发布材料为 ArmSoM 准备的。这里讨论的 RK182X 芯片和 RKNN 软件技术来自 Rockchip。图表化工作流程是解释性插图,而不是产品照片或官方软件屏幕截图。