ArmSoM
← 所有故事

在 RK3588 上运行 LLM:模型、内存和部署

Running a local language model on RK3588 involves model format, runtime support and memory as well as the processor. A short text-generation demonstration is a starting point.有用的评估还可以衡量及时处理、持续输出和内存使用。

ArmSoM AIM7

ArmSoM AIM7

Choose a model the software can actually load

在下载大权重之前检查支持的模型架构、量化和运行时版本。 Record the model identifier and conversion steps.使用代表性输入长度分别测量启动、提示处理和生成。将分词器和模型配置放在一起,以便以后的更改可以与硬件差异区分开来。

Budget more than weights

模型权重只是内存使用的一部分。 Context state, temporary buffers, the operating system and other services also need space. Longer prompts and multiple sessions can change peak consumption. Select a memory configuration based on the full application and reserve headroom rather than treating all advertised RAM as available to the model.

Measure the experience users will notice

记录提示长度、输出长度、量化、上下文限制和冷却。与生成率分开测量第一个令牌的时间,并在实际检索或工具工作流程中重复。检查转换后的输出质量。快速简短的演示不应被宣传为每个模型或上下文大小的持续性能。

ArmSoM Sige7

ArmSoM Sige7

根据您的要求进行选择

要求或情况

评估什么

决定详情

型号兼容性

架构和导出路径

使用当前工具包进行确认。

内存

权重加上上下文和服务

测量峰值使用情况。

互动

第一个代币和持续生成

测试代表提示。

示例设计

测量交互式语言模型工作量

聊天应用程序每秒需要的令牌数不止一个。定义现实的提示、预期响应长度、上下文大小和并发性。与后续生成分开测量第一个有用输出之前的等待时间。如果应用程序切换模型,请包括模型加载和内存压力。带有简短提示的演示无法建立较长文档分析会话的体验。如果没有可重复的运行,则此处不声明吞吐量结果。

硬件和文档

Sige7 · RK3588

RK3588、6 TOPS NPU、双 2.5GbE 和 M.2 PCIe 3.0 x4。检查所选的eMMC和无线配置。

硬件文档 · 产品详情

AIM7 · RK3588

RK3588 模块,带有 6 TOPS NPU 和 260 引脚 SO-DIMM 连接器。 ArmSoM测试了Jetson Nano B01载体;这并不与所有 Jetson 运营商或 NVIDIA 软件建立兼容性。

硬件文档 · 产品详情

常见问题

我可以承诺RK3588规范中的代币率吗?

不。它需要命名模型、运行时、上下文和可重复的测量。

更大的内存是否能保证更快的响应速度?

它可以防止内存压力,但计算、内存带宽和运行时行为仍然决定速度。

产品信息和支持

了解 Sige7

联系 ArmSoM

来源

由 ArmSoM 使用以下文档编写。示例设计是建议,而不是测量的客户安装。

相关阅读