Firefly开源社区

标题: RK3588移植RKLLM [打印本页]

作者: 菜菜喜欢小可爱 时间: 2024-4-22 14:25
标题: RK3588移植RKLLM
我通过基础下载的基础SDK repo同步到了1.3.0e，然后我在这个基础上移植了rkllm，我从官方gitlab拉取了kernel 5.10.198的源码直接替换了1.3.0e sdk下的kernel源码并按照rkllm修改了rknpu驱动代码，现在可以成功跑起rkllm，但我感觉问答速度有点慢，问了官方客服说1.4.0e 版本就是5.10.198的，麻烦请问一下为什么repo不能同步到1.4.0，如果不能同步的话，我要怎么下载1.4.0的sdk。
顺便请问一下贵公司目前移植好rkllm了吗，测试速度如何，我测试出来问答大概每秒5-8个字，个人觉得和官方现象差距有点大

tchip_askquestions

新建文本文档 (2).txt

21 Bytes, 下载次数: 0, 下载积分: 灯泡 -1 , 经验 -1

作者: 菜菜喜欢小可爱 时间: 2024-4-24 11:32
5.10.198的目前可以repo下载了，但是跑qwen1.8b的模型速度上还是和官方有比较大差距，cpu 的占用率极高，这和其他板子的差异性极大，我看其他板子的cpu占用率都很低，请问一下贵公司目前的rkllm模型跑下来的实际数据如何？

image.png (22.37 KB, 下载次数: 5)

作者: 799959745 时间: 2024-4-24 11:37
rkllm 没有试过，现在 rkllm 是 beta 版本。3588 npu 的库文件也要更新到 2.0beta 版本。

作者: 799959745 时间: 2024-4-24 11:38
当前 3588 npu 的版本是 1.6.0 。由于 2.0版本是 beta 版本，没有放进 ubuntu 系统里面，需要自行更新调试。

作者: 菜菜喜欢小可爱 时间: 2024-4-24 11:43

799959745 发表于 2024-4-24 11:38
当前 3588 npu 的版本是 1.6.0 。由于 2.0版本是 beta 版本，没有放进 ubuntu 系统里面，需要自行更新调试 ...

npu驱动我已经修改到最新的了 0.9.6

作者: 菜菜喜欢小可爱 时间: 2024-4-24 11:47
rkllm的移植目前我按照官方教程已经移植好了，主要的现象其实是cpu占用率很高，但是我看网上给出的数据里 cpu的占用率正常都是在50%左右，但我在板端跑起有106%

作者: 799959745 时间: 2024-4-24 11:53
你更新的是内核驱动，还有文件系统的 npu 驱动也要更新。更新 librknnrt.so 文件和头文件。在 github 的 rknpu2 仓库能找到最新的 2.0 版本进行替换。

作者: 菜菜喜欢小可爱 时间: 2024-4-24 11:57

799959745 发表于 2024-4-24 11:53
你更新的是内核驱动，还有文件系统的 npu 驱动也要更新。更新 librknnrt.so 文件和头文件。在 github 的 rk ...

usr/lib下的那几个库我也全部替换了替换成rknpu2库里的了

作者: 菜菜喜欢小可爱 时间: 2024-4-24 12:00

799959745 发表于 2024-4-24 11:53
你更新的是内核驱动，还有文件系统的 npu 驱动也要更新。更新 librknnrt.so 文件和头文件。在 github 的 rk ...

没替换前速度更慢，替换完好了很多了，但还是和其他厂家板的差距比较大
这是链接https://www.bilibili.com/video/B ... arch-card.all.click

作者: 799959745 时间: 2024-4-24 13:40
给 cpu 和 npu 定频试一下

作者: lanzj 时间: 2024-4-24 14:11

菜菜喜欢小可爱发表于 2024-4-24 12:00
没替换前速度更慢，替换完好了很多了，但还是和其他厂家板的差距比较大
这是链接https://www.bilibili.c ...

定频cpu和npu，代码设置NPU 核心数量为3,可以较大提升速度

作者: 菜菜喜欢小可爱 时间: 2024-4-24 14:18

lanzj 发表于 2024-4-24 14:11
定频cpu和npu，代码设置NPU 核心数量为3,可以较大提升速度

怎么给cpu和npu定频，并且需要定为多少，代码里我修改为核心数3了

作者: lanzj 时间: 2024-4-24 14:23

菜菜喜欢小可爱发表于 2024-4-24 14:18
怎么给cpu和npu定频，并且需要定为多少，代码里我修改为核心数3了

cpu

echo performance | tee $(ls /sys/bus/cpu/devices/cpu*/cpufreq/scaling_governor)

复制代码

npu

echo performance > /sys/class/devfreq/fdab0000.npu/governor

复制代码

作者: 菜菜喜欢小可爱 时间: 2024-4-24 14:35

lanzj 发表于 2024-4-24 14:23
cpu

npu

确实显著提升了感谢解答

作者: 狂风骤雨 时间: 2024-4-24 15:46

lanzj 发表于 2024-4-24 14:11
定频cpu和npu，代码设置NPU 核心数量为3,可以较大提升速度

感谢解答

作者: 菜菜喜欢小可爱 时间: 2024-4-26 17:22
我实际测试发现，主要是要将cpu定频并拉高后，就能显著提升性能，为什么他的性能瓶颈会卡在cpu

欢迎光临 Firefly开源社区 (https://dev.t-firefly.com/)