ArmSoM
← Все истории

Запуск LLM на RK3588: модели, память и развертывание

Запуск модели на местном языке на RK3588 включает в себя формат модели, поддержку среды выполнения и память, а также процессор. Отправной точкой является короткая демонстрация создания текста. Полезная оценка также измеряет быстроту обработки, стабильную производительность и использование памяти.

ArmSoM AIM7

ArmSoM AIM7

Выберите модель, которую программа действительно может загрузить.

Перед загрузкой больших весов проверьте поддерживаемую архитектуру модели, версию квантования и времени выполнения. Запишите идентификатор модели и шаги преобразования. Измеряйте запуск, обработку подсказок и генерацию отдельно с репрезентативными входными длинами. Сохраняйте конфигурацию токенизатора и модели вместе, чтобы можно было отличить более поздние изменения от аппаратных различий.

Бюджет больше, чем веса

Вес модели — это только часть использования памяти. Состояние контекста, временные буферы, операционная система и другие службы также требуют места. Более длинные запросы и несколько сеансов могут изменить пиковое потребление. Выбирайте конфигурацию памяти на основе всего приложения и резервируйте запас, а не рассматривайте всю объявленную ОЗУ как доступную для модели.

Измерьте впечатления, которые заметят пользователи.

Длина записи, длина вывода, квантование, ограничение контекста и охлаждение. Измерьте время до получения первого токена отдельно от скорости генерации и повторите процедуру с фактическим извлечением или рабочим процессом инструмента. Проверьте качество вывода после преобразования. Быструю короткую демонстрацию не следует рекламировать как устойчивую производительность для любой модели или размера контекста.

ArmSoM Sige7

ArmSoM Sige7

Сопоставьте выбор с вашими требованиями

Требование или ситуация

Что оценить

Детали решения

Совместимость моделей

Архитектура и путь экспорта

Подтвердите действие с помощью текущего набора инструментов.

Оперативная память

Веса плюс контекст и услуги

Измерьте пиковое использование.

Взаимодействие

Первый токен и устойчивое поколение

Подсказки представителя тестирования.

Пример дизайна

Измерьте рабочую нагрузку интерактивной языковой модели.

Приложению чата требуется более одного числа токенов в секунду. Определите реалистичное приглашение, ожидаемую длину ответа, размер контекста и параллелизм. Измерьте время ожидания перед первым полезным выходным сигналом отдельно от последующего поколения. Учитывайте загрузку модели и нехватку памяти, если приложение переключает модели. Демонстрация с короткой подсказкой не может передать впечатления от более длительного сеанса анализа документов. Здесь не заявлен ни один результат производительности без воспроизводимого прогона.

Аппаратура и документация

Sige7 · RK3588

RK3588, 6 TOPS NPU, двойной 2.5GbE и M.2 PCIe 3.0 x4. Проверьте выбранный eMMC и конфигурацию беспроводной сети.

Документация по оборудованию · Описание товара

AIM7 · RK3588

Модуль RK3588 с разъемом 6 TOPS NPU и 260-pin SO-DIMM. ArmSoM протестировал носитель Jetson Nano B01; это не обеспечивает совместимость со всеми операторами связи Jetson или программным обеспечением NVIDIA.

Документация по оборудованию · Описание товара

Часто задаваемые вопросы

Могу ли я обещать скорость токена согласно спецификациям RK3588?

Нет. Для этого нужна именованная модель, среда выполнения, контекст и воспроизводимые измерения.

Гарантирует ли больший объем оперативной памяти более быстрый ответ?

Это может предотвратить нехватку памяти, но скорость вычислений, пропускная способность памяти и поведение во время выполнения по-прежнему определяют скорость.

Информация о продукте и поддержка

Подробнее о Sige7

Связаться с ArmSoM

Источники

Написано ArmSoM с использованием документации ниже. Примеры проектов — это предложения, а не измеренные установки клиентов.

Похожие материалы