聯(lián)系我們
Contact Us公司總機:020-8998-6280
技術(shù)熱線:020-3893-9734
技術(shù)郵箱:support@tronlong.com
銷售郵箱:sales@tronlong.com
基于RK3588的NPU案例分享!6T是真的強!
2024/02/26
RK3588NPU簡介
作為瑞芯微新一代旗艦工業(yè)處理器,RK3588 NPU性能可謂十分強大,6TOPS設(shè)計能夠?qū)崿F(xiàn)高效的神經(jīng)網(wǎng)絡(luò)推理計算。這使得RK3588在圖像識別、語音識別、自然語言處理等人工智能領(lǐng)域有著極高的性能表現(xiàn)。
此外,RK3588的NPU還支持多種學(xué)習(xí)框架,包括TensorFlow,Pytorch、Caffe、MXNet等在人工智能開發(fā)中流行的深度學(xué)習(xí)框架,能夠為開發(fā)者提供豐富的工具和庫,使他們能夠方便地進行模型訓(xùn)練和推理,可輕松應(yīng)對各種大數(shù)據(jù)運算場景。
RK3588NPU典型工業(yè)應(yīng)用
圖1
目標識別跟蹤:在視頻監(jiān)控和無人駕駛領(lǐng)域,RK3588可提供6TOPS高性能NPU算力,可實時處理高清視頻流、目標檢測、識別和跟蹤。其強大的計算能力可滿足復(fù)雜場景下的實時處理需求,提高監(jiān)控系統(tǒng)的準確性和反應(yīng)速度。
AGV機器人:RK3588的NPU可提供強大的視覺處理能力,可幫助AGV機器人實現(xiàn)高效的路徑規(guī)劃和避障,提高運輸效率和安全性。
醫(yī)療內(nèi)窺鏡:RK358的NPU可提供圖像識別和分析的能力,幫助醫(yī)生快速準確地診斷疾病。其深度學(xué)習(xí)推理能力可輔助醫(yī)生進行圖像識別和病灶檢測,提高診斷的準確性和效率。
高速收費終端:RK358的NPU可提供車牌識別和計費的處理能力,實現(xiàn)高速路上的無人化收費,提高交通效率和安全性。
車載環(huán)視系統(tǒng):RK3588的NPU可處理多個攝像頭采集的圖像數(shù)據(jù),實現(xiàn)車輛周圍環(huán)境的360度監(jiān)控,幫助車輛進行障礙物檢測、碰撞預(yù)警和自動泊車等功能。
RK3588 NPU開發(fā)流程
第一步:模型訓(xùn)練
首先需要收集并準備訓(xùn)練數(shù)據(jù),選擇適合的深度學(xué)習(xí)框架(如TensorFlow、PyTorch、Keras等)進行模型訓(xùn)練或使用官方提供的模型。
第二步:模型轉(zhuǎn)換
完成模型訓(xùn)練后,使用RKNN-Toolkit2將預(yù)訓(xùn)練模型轉(zhuǎn)換為RK3588 NPU可使用的RKNN模型。這通常涉及到將模型中的計算圖進行適當?shù)男薷暮蛢?yōu)化,以適應(yīng)NPU的硬件架構(gòu)和指令集。
第三步:應(yīng)用開發(fā)
基于RKNN API開發(fā)應(yīng)用程序。開發(fā)階段需要根據(jù)具體需求,將轉(zhuǎn)換后的模型集成到應(yīng)用程序中。

圖2 NPU開發(fā)流程框圖
RK3588 NPU開發(fā)案例分享
案例說明
本案例基于RKNN API實現(xiàn)對圖片中目標對象的識別,并將識別結(jié)果加以水印的方式添加至圖像,并保存成圖片文件。案例循環(huán)測試10此統(tǒng)計出推理的平均處理耗時。測試基于創(chuàng)龍科技RK3588工業(yè)評估版TL3588-EVM進行。
備注:本案例基于瑞芯微官方例程實現(xiàn),進行了目錄的重構(gòu)及編譯的簡化,功能邏輯未進行修改。官方例程位于LinuxSDK源碼"external/rknpu2/examples/rknn_yolov5_demo/"目錄下。

圖3
程序處理流程框圖如下:
圖4
案例測試
請通過網(wǎng)線將評估板千兆網(wǎng)口ETH0連接至路由器。

圖5
請將案例bin目錄下的所有文件拷貝至評估板文件系統(tǒng)任意目錄下。

圖6
在可執(zhí)行文件所在目錄,執(zhí)行如下命令,對圖片目標對象進行模型推理
備注:模型運行的時間會有抖動
Target#./yolov5_object_detect yolov5s-640-640_rm_transpose_rk3588.rknn bus.jpg
圖7
從輸出信息可知,本案例程序識別出測試圖片包含4個person和1個bus對象,運行1次模型耗時為23.905000ms;循環(huán)運行10次模型平均耗時為21.356800ms。
案例程序?qū)y試圖片的目標對象標記成功后將輸出名稱為out.jpg的標記圖片至當前目錄,請將out.jpg文件拷貝至Windows下,并使用PC端相關(guān)軟件對比查看bus.jpg與out.jpg,測試結(jié)果如下所示。
圖8
圖9 bus.jpg
圖10 out.jpg
從out.jpg圖片可知,案例程序能正確框選出4位人物和1輛汽車,同時顯示person、bus文字標簽和置信度,標記對象的數(shù)量及信息等與程序打印信息一致。
本程序能夠支持識別的目標數(shù)據(jù)集類型說明位于bin目錄下的coco_80_labels_list.txt文件,用戶可根據(jù)相關(guān)目標類型進行測試驗證。
圖11
亦可添加如下客服微信進行咨詢
(即刻添加,馬上咨詢)
如需購買全國產(chǎn)RK3588J工業(yè)核心板,請登錄創(chuàng)龍科技天貓旗艦店:tronlong.tmall.com!
瑞芯微RK3588J技術(shù)交流群:567208221,歡迎加入!

服務(wù)熱線