RKNN Toolkit Lite2 环境搭建

提示

本章节所使用的推理环境部署于开发板端。
系统版本：Debian 13
工具版本：RKNN-Toolkit2 2.3.2
驱动版本：NPU Driver 0.9.8

1. 简介

RKNN Toolkit Lite2 是面向 Rockchip NPU 平台的轻量级 Python 推理接口，主要用于在设备端（板端）加载并运行 RKNN 模型。相比完整版本的 RKNN Toolkit，Lite2 专注于推理阶段，去除了模型转换与训练相关功能，具有依赖少、部署简单、运行高效等特点，适合在资源受限的嵌入式设备上进行快速集成与应用开发。通过 RKNN Toolkit Lite2，开发者可以方便地完成模型加载、输入输出处理以及推理执行，从而实现端侧 AI 能力的落地。

2. RKNN Toolkit Lite2 安装

注意

当前提供的安装包 rknn_toolkit_lite2-2.3.2-cp312-xxx.whl 最高支持 Python 3.12，而 Aura Debian 13 默认 Python 版本为 Python 3.13。为避免版本不兼容问题，建议使用 Python 3.12 虚拟环境进行安装和使用。推荐通过 Conda 创建虚拟环境，以便在不同应用场景下灵活切换，并有效隔离依赖。

2.1 conda 安装

获取 Miniforge3 安装脚本,可以使用提供的网盘资源，或从 GitHub 下载最新版本：https://github.com/conda-forge/miniforge/

赋予执行权限并运行安装脚本。

chmod +x Miniforge3-26.1.1-3-Linux-aarch64.sh
./Miniforge3-26.1.1-3-Linux-aarch64.sh

# 安装过程中需要进行如下交互确认：
Do you accept the license terms? [yes|no]
>>> yes

[/root/miniforge3] >>> 直接回车
PREFIX=/root/miniforge3

Proceed with initialization? [yes|no]
[no] >>> yes

重新加载 shell 环境，确认 conda 已经安装。
```
source ~/.bashrc
conda --version
```

创建 Python 3.12 的 conda 环境。

conda create -n rknn-toolkit-lite2 python=3.12 -y
conda activate rknn-toolkit-lite2

克隆或者直接下载 RKNN Toolkit2 源码压缩包。

git clone https://github.com/airockchip/rknn-toolkit2.git

安装 RKNN Toolkit Lite2

cd rknn-toolkit2-master/rknn-toolkit-lite2
conda activate rknn-toolkit-lite2
pip install packages/rknn_toolkit_lite2-2.3.2-cp312-cp312-manylinux_2_17_aarch64.manylinux2014_aarch64.whl

验证部署成功。

(rknn-toolkit-lite2) root@aura:/home/aura/rknn-toolkit2-master/rknn-toolkit-lite2# python
Python 3.12.13 | packaged by conda-forge | (main, Mar  5 2026, 16:39:32) [GCC 14.3.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> from rknnlite.api import RKNNLite
>>>

用 conda 安装 OpenCV。
```
conda install -c conda-forge opencv
```

3. 升级 NPU Runtime 库

当前板端 Runtime 版本为 2.3.0，而 RKNN-Toolkit2 使用的是 2.3.2，为避免版本不匹配问题，需要手动升级 Runtime 库。
```
strings /usr/bin/rknn_server | grep -i "rknn_server version"
strings /usr/lib/librknnrt.so | grep -i "librknnrt version"
```

进入Runtime库目录，将最新的2.3.2版本的库文件拷贝至系统。

cd /home/aura/rknn-toolkit2-master/rknpu2/runtime/Linux
cp librknn_api/aarch64/librknnrt.so /usr/lib/
cp rknn_server/aarch64/usr/bin/* /usr/bin/
mkdir -p /usr/lib64/
cp /usr/lib/librknnrt.so /usr/lib64/

增加可执行权限，重启服务。

chmod +x /usr/bin/rknn_server
chmod +x /usr/bin/start_rknn.sh
chmod +x /usr/bin/restart_rknn.sh
restart_rknn.sh

验证升级成功。

strings /usr/bin/rknn_server | grep -i "rknn_server version"
strings /usr/lib/librknnrt.so | grep -i "librknnrt version"

1. 简介​

2. RKNN Toolkit Lite2 安装​

2.1 conda 安装​

3. 升级 NPU Runtime 库​

1. 简介

2. RKNN Toolkit Lite2 安装

2.1 conda 安装

3. 升级 NPU Runtime 库