ArmSoM
← Все истории

RKNN3 SDK V1.2.0 для RK182X: модели MoE и упрощенное развертывание Edge AI

Практический взгляд на более крупные модели, более гибкое управление памятью и инструменты, которые помогают довести передовые проекты ИИ от оценки до развертывания.

Обновление RKNN3 SDK V1.2.0: MoE, управление памятью, RKNN Center и RKNN3 MCP.

Обзор ArmSoM разработчиком Rockchip RKNN3 SDK V1.2.0.

Развертывание ИИ на периферии предполагает нечто большее, чем просто выбор модели. Разработчикам также необходимо управлять памятью, подключать ускорители, проверять выходные данные модели и интегрировать логические выводы в приложение.

RKNN3 SDK V1.2.0 компании Rockchip решает эти практические задачи с помощью новой поддержки Mixture-of-Experts, PagedAttention, отдельного экспорта веса LoRA и расширенной поддержки хост-платформы. Наряду с RKNN Center и новым помощником по развертыванию MCP RKNN3 это обновление предоставляет разработчикам больше возможностей для создания и оценки локальных приложений искусственного интеллекта.

Для команд, работающих с ускорителями RK182X, релиз расширяет как спектр доступных моделей, так и инструменты, используемые для приведения их в работающую систему.

Поддержка Министерства образования открывает двери для более крупных моделей

Важным дополнением в версии V1.2.0 является поддержка Модели смешанных экспертов (МО). Обновленный список моделей Rockchip включает Qwen3-30B-A3B, Qwen3.5-35B-A3B и MiniCPM-V-4.7-35B-A3B. В выпуске также добавлен PagedAttention и поддержка экспорта нескольких отдельных весов LoRA. Rockchip RKNN3 Набор инструментов

Архитектуры MoE активируют выбранных экспертов для каждого токена, позволяя модели иметь большое общее количество параметров, используя при этом меньшую часть во время вычислений. Например, Qwen3.5-35B-A3B имеет 35 миллиарда общих параметров и примерно 3 миллиарда активированных параметров. Карточка модели Квен

Это различие важно при планировании развертывания. Количество активированных параметров не совпадает с объемом памяти. Веса модели, квантование, буферы времени выполнения и состояние внимания по-прежнему влияют на требования к памяти.

Поддержка Министерства образования дает разработчикам возможность оценить более крупные модели для местных помощников, анализа документов и мультимодальных приложений. Соответствующая конфигурация оборудования по-прежнему зависит от конкретной модели и рабочей нагрузки.

Лучшее управление памятью и более гибкая адаптация

Долгие разговоры и одновременные запросы могут оказать значительную нагрузку на память умозаключений.

Новый PagedAttention предназначена для улучшения управления кэш-памятью, уменьшения фрагментации и повышения гибкости распределения памяти. Это особенно актуально при оценке услуг с различной длиной входных данных или несколькими активными сеансами.

Практическая выгода должна измеряться с помощью репрезентативных рабочих нагрузок: короткая демонстрация для одного пользователя предъявляет к системе совсем другие требования, чем служба обработки документов, обрабатывающая несколько запросов.

V1.2.0 также поддерживает экспорт нескольких весов LoRA по отдельности. Это дает разработчикам больше гибкости при поддержке специализированных адаптаций базовой модели — например, различной терминологии или поведения реагирования для технической поддержки, промышленной документации или конкретной бизнес-области.

Три поддерживаемых примера модели MoE, PagedAttention и отдельный экспорт веса LoRA.

Поддержка Министерства образования, управление кэшем внимания и отдельный экспорт LoRA решают различные части проблемы развертывания.

Центр RKNN объединяет задачи разработки

RKNN Center предоставляет общее рабочее пространство для подключения устройств, получения моделей, настройки сервисов вывода и проверки результатов.

Рабочий процесс включает в себя:

  • Управление устройством: Подключайте поддерживаемые ускорители и платы разработки и управляйте ими.

  • Управление моделями: Загрузите ресурсы модели или импортируйте локальные файлы.

  • Сервисы вывода: Настройте модели, сервисные порты и параметры вывода.

  • Отладка приложения: Тестируйте поведение модели через подключенные приложения.

  • Анализ производительности: Запускайте тесты, отслеживайте устройства и просматривайте журналы.

В поставляемых материалах по выпуску RKNN Center также описываются независимые службы API, поддерживаемое развертывание нескольких карт, интерфейс рабочего стола и инструменты командной строки. Интерфейсы, совместимые с OpenAI, обеспечивают путь интеграции для приложений, которые уже используют этот формат API.

Объединение этих задач вместе может сократить цикл обратной связи между выбором модели и пониманием того, как она ведет себя на целевом устройстве.

Модельные ресурсы Центра RKNN охватывают несколько платформ Rockchip. Разработчикам по-прежнему следует проверять стек программного обеспечения и пакет моделей, необходимые для каждой цели; общий интерфейс управления не делает модели взаимозаменяемыми на разных NPU.

Шесть возможностей RKNN Center и поддерживаемые настольные платформы.

Центр RKNN объединяет задачи устройства, модели, обслуживания и проверки. Поддержка платформы настольных компьютеров показана отдельно от поддержки сопроцессора SDK.

Расширенная библиотека моделей для реальных приложений

В обновлении представлены параметры модели для языка, зрения, речи, понимания документов и робототехники.

Район

Примеры, выделенные в обновлении

Возможные сценарии оценки

Языковые модели

Искра-X2.5, miniCPM5-2B

Локальные помощники и обработка текста

Модели языка видения

MiniCPM-V-4.7-1B, Маг-ВЛ

Понимание образа и мультимодальное взаимодействие

Речь

Qwen3-ForcedAligner, диаризация говорящих и ASR на устройстве

Транскрипция, выравнивание речи и анализ говорящего

OCR

Unlimited-OCR, серия Dots OCR

Распознавание документов и извлечение информации

Робототехника

GR00T-N1.7-3B, openpi

Эксперименты с видением, языком, действием и воплощенным искусственным интеллектом

Модели принятия решений

Стажер-Решение-0.8B

Рабочие процессы агентов, ориентированные на принятие решений

Rockchip’s RKNN3 Модельный зоопарк содержит примеры для конкретных моделей и рекомендации по развертыванию. Это полезные отправные точки для проверки зависимостей, требований к экспорту и поддерживаемых конфигураций.

Согласно материалам выпуска, RKNN-Model теперь предоставляет больше моделей, чем 80, через Hugging Face и ModelScope, охватывая такие области, как LLM, VLM, распознавание речи и OCR.

Для первого прототипа запуск с подготовленного пакета модели может помочь отделить разработку приложения от дополнительной работы по преобразованию модели.

Примеры моделей RKNN3 для языка, зрения, речи, оптического распознавания символов, робототехники и агентов принятия решений.

Примеры выделены в материалах выпуска. Ознакомьтесь с пакетом и руководством по развертыванию для каждой модели.

RKNN3 MCP добавляет развертывание с помощью искусственного интеллекта

Новый RKNN3 Помощник по развертыванию MCP, представленный в бета-версии, объединяет инструменты разработки ИИ со знаниями и рабочими процессами развертывания RKNN3.

Разработчики могут описать требования к развертыванию на естественном языке. Помощник помогает планировать процесс и через совместимого агента координировать такие задачи, как анализ модели, экспорт ONNX, преобразование RKNN3, проверки точности и развертывание на плате. Rockchip RKNN3 документация

В сопроводительных материалах выделяются четыре возможности:

  • Планирование развертывания на основе модели и целевой платформы.

  • Выполнение необходимых шагов после подтверждения плана.

  • Отслеживание этапов задачи, сгенерированных артефактов и результатов проверки.

  • Восстановление записанного состояния задачи после прерывания.

Обработка модели и операции с платой выполняются в локальной среде пользователя или на рабочем сервере. Веса модели и исходный код не нужно загружать на сервер RKNN3 MCP.

Этот подход позволяет сократить повторяющуюся работу по настройке, сохраняя при этом артефакты развертывания и результаты проверки доступными для инженерной проверки.

RKNN3 Рабочий процесс бета-версии MCP от анализа модели до развертывания с локальной обработкой и восстанавливаемым состоянием задачи.

RKNN3 MCP — это бета-версия рабочего процесса развертывания с помощью искусственного интеллекта; конкретная поддержка зависит от модели, платформы и версии SDK.

Расширенная поддержка Linux, macOS и Windows.

V1.2.0 расширяет возможности разработки сопроцессора RK182X до Linux x86_64 и macOS Arm64. Это дает разработчикам больше гибкости при работе с внешним ускорителем RK182X на существующих машинах разработки.

Windows получает поддержку связи Ethernet для режима сопроцессора RK182X, а также улучшения связи USB. Релиз также включает исправления операторов, улучшения числовой точности и исправления стабильности Ethernet. Rockchip V1.2.0 список изменений

Дополнение macOS касается поддерживаемого рабочего процесса сопроцессора SDK. В поставляемом RKNN Center списке настольных платформ отдельно указаны Windows x86_64, Linux x86_64 и Linux ARM64.

Рабочие процессы хоста Linux x86_64, macOS Arm64 и Windows для ускорителя Rockchip RK182X.

Рабочие процессы сопроцессора RK182X получают более широкую поддержку хост-платформы. Это концептуальная диаграмма, а не фотография аппаратного продукта.

Выбор правильного пути для проекта ArmSoM

Для разработчиков ArmSoM важно отличать хост-процессор от ускорителя, на котором работает модель.

RK1820 и RK1828 работают как сопроцессоры., пока RK3572 использует встроенный NPU в рабочем процессе RKNN3. Rockchip перечисляет эти конфигурации развёртывания в своём Документация по платформе RKNN3.

Плата на базе RK3588 или RK3576 может служить хостом в поддерживаемых конфигурациях RK182X. Его собственный интегрированный NPU продолжает использовать соответствующий программный стек RKNN-Toolkit2 или RKLLM. Добавление RKNN3 в хост-систему не дает автоматически внутреннему NPU этого хоста тех же возможностей, что и ускоритель RK182X. Руководство по платформе RKNN-Toolkit2

При оценке обновления начните с одной поддерживаемой модели и определенной задачи приложения. Измеряйте качество вывода, использование памяти, задержку ответа и устойчивость работы, прежде чем увеличивать длину контекста, параллелизм или размер модели.

Четыре этапа: подключение устройства, импорт модели, настройка службы вывода и проверка результатов.

Предлагаемая последовательность оценки первого прототипа. Концептуальный рабочий процесс, подготовленный ArmSoM.

Документацию по оборудованию и ресурсы проекта см. ArmSoM Документация. Для обсуждения аппаратной платформы или проекта OEM/ODM обращайтесь sales@armsom.org.

Об этих иллюстрациях

Эти редакционные графические изображения на английском языке были подготовлены для ArmSoM с использованием предоставленных материалов выпуска. Кремний RK182X и обсуждаемые здесь программные технологии RKNN взяты из Rockchip. Диаграммы рабочих процессов представляют собой поясняющие иллюстрации, а не фотографии продуктов или официальные снимки экрана программного обеспечения.