Running a local language model on RK3588 involves model format, runtime support and memory as well as the processor. A short text-generation demonstration is a starting point.有用的评估还可以衡量及时处理、持续输出和内存使用。

ArmSoM AIM7
Choose a model the software can actually load
在下载大权重之前检查支持的模型架构、量化和运行时版本。 Record the model identifier and conversion steps.使用代表性输入长度分别测量启动、提示处理和生成。将分词器和模型配置放在一起,以便以后的更改可以与硬件差异区分开来。
Budget more than weights
模型权重只是内存使用的一部分。 Context state, temporary buffers, the operating system and other services also need space. Longer prompts and multiple sessions can change peak consumption. Select a memory configuration based on the full application and reserve headroom rather than treating all advertised RAM as available to the model.
Measure the experience users will notice
记录提示长度、输出长度、量化、上下文限制和冷却。与生成率分开测量第一个令牌的时间,并在实际检索或工具工作流程中重复。检查转换后的输出质量。快速简短的演示不应被宣传为每个模型或上下文大小的持续性能。

ArmSoM Sige7
根据您的要求进行选择
要求或情况 | 评估什么 | 决定详情 |
型号兼容性 | 架构和导出路径 | 使用当前工具包进行确认。 |
内存 | 权重加上上下文和服务 | 测量峰值使用情况。 |
互动 | 第一个代币和持续生成 | 测试代表提示。 |
示例设计
测量交互式语言模型工作量
聊天应用程序每秒需要的令牌数不止一个。定义现实的提示、预期响应长度、上下文大小和并发性。与后续生成分开测量第一个有用输出之前的等待时间。如果应用程序切换模型,请包括模型加载和内存压力。带有简短提示的演示无法建立较长文档分析会话的体验。如果没有可重复的运行,则此处不声明吞吐量结果。
硬件和文档
Sige7 · RK3588
RK3588、6 TOPS NPU、双 2.5GbE 和 M.2 PCIe 3.0 x4。检查所选的eMMC和无线配置。
AIM7 · RK3588
RK3588 模块,带有 6 TOPS NPU 和 260 引脚 SO-DIMM 连接器。 ArmSoM测试了Jetson Nano B01载体;这并不与所有 Jetson 运营商或 NVIDIA 软件建立兼容性。
常见问题
我可以承诺RK3588规范中的代币率吗?
不。它需要命名模型、运行时、上下文和可重复的测量。
更大的内存是否能保证更快的响应速度?
它可以防止内存压力,但计算、内存带宽和运行时行为仍然决定速度。
产品信息和支持
来源
由 ArmSoM 使用以下文档编写。示例设计是建议,而不是测量的客户安装。
