Запуск модели на местном языке на RK3588 включает в себя формат модели, поддержку среды выполнения и память, а также процессор. Отправной точкой является короткая демонстрация создания текста. Полезная оценка также измеряет быстроту обработки, стабильную производительность и использование памяти.

ArmSoM AIM7
Выберите модель, которую программа действительно может загрузить.
Перед загрузкой больших весов проверьте поддерживаемую архитектуру модели, версию квантования и времени выполнения. Запишите идентификатор модели и шаги преобразования. Измеряйте запуск, обработку подсказок и генерацию отдельно с репрезентативными входными длинами. Сохраняйте конфигурацию токенизатора и модели вместе, чтобы можно было отличить более поздние изменения от аппаратных различий.
Бюджет больше, чем веса
Вес модели — это только часть использования памяти. Состояние контекста, временные буферы, операционная система и другие службы также требуют места. Более длинные запросы и несколько сеансов могут изменить пиковое потребление. Выбирайте конфигурацию памяти на основе всего приложения и резервируйте запас, а не рассматривайте всю объявленную ОЗУ как доступную для модели.
Измерьте впечатления, которые заметят пользователи.
Длина записи, длина вывода, квантование, ограничение контекста и охлаждение. Измерьте время до получения первого токена отдельно от скорости генерации и повторите процедуру с фактическим извлечением или рабочим процессом инструмента. Проверьте качество вывода после преобразования. Быструю короткую демонстрацию не следует рекламировать как устойчивую производительность для любой модели или размера контекста.

ArmSoM Sige7
Сопоставьте выбор с вашими требованиями
Требование или ситуация | Что оценить | Детали решения |
Совместимость моделей | Архитектура и путь экспорта | Подтвердите действие с помощью текущего набора инструментов. |
Оперативная память | Веса плюс контекст и услуги | Измерьте пиковое использование. |
Взаимодействие | Первый токен и устойчивое поколение | Подсказки представителя тестирования. |
Пример дизайна
Измерьте рабочую нагрузку интерактивной языковой модели.
Приложению чата требуется более одного числа токенов в секунду. Определите реалистичное приглашение, ожидаемую длину ответа, размер контекста и параллелизм. Измерьте время ожидания перед первым полезным выходным сигналом отдельно от последующего поколения. Учитывайте загрузку модели и нехватку памяти, если приложение переключает модели. Демонстрация с короткой подсказкой не может передать впечатления от более длительного сеанса анализа документов. Здесь не заявлен ни один результат производительности без воспроизводимого прогона.
Аппаратура и документация
Sige7 · RK3588
RK3588, 6 TOPS NPU, двойной 2.5GbE и M.2 PCIe 3.0 x4. Проверьте выбранный eMMC и конфигурацию беспроводной сети.
Документация по оборудованию · Описание товара
AIM7 · RK3588
Модуль RK3588 с разъемом 6 TOPS NPU и 260-pin SO-DIMM. ArmSoM протестировал носитель Jetson Nano B01; это не обеспечивает совместимость со всеми операторами связи Jetson или программным обеспечением NVIDIA.
Документация по оборудованию · Описание товара
Часто задаваемые вопросы
Могу ли я обещать скорость токена согласно спецификациям RK3588?
Нет. Для этого нужна именованная модель, среда выполнения, контекст и воспроизводимые измерения.
Гарантирует ли больший объем оперативной памяти более быстрый ответ?
Это может предотвратить нехватку памяти, но скорость вычислений, пропускная способность памяти и поведение во время выполнения по-прежнему определяют скорость.
Информация о продукте и поддержка
Источники
Написано ArmSoM с использованием документации ниже. Примеры проектов — это предложения, а не измеренные установки клиентов.
