基于RK3588J的6路MIPI CSI視頻采集案例分享，多路視頻系統(tǒng)必看！-技術(shù)文章-Tronlong●創(chuàng)龍科技

創(chuàng)龍首頁(yè) >關(guān)于創(chuàng)龍 > 新聞資訊 > 技術(shù)文章

關(guān)于創(chuàng)龍
About Us

聯(lián)系我們
Contact Us

公司總機(jī)：020-8998-6280

技術(shù)熱線(xiàn)：020-3893-9734

技術(shù)郵箱：support@tronlong.com

銷(xiāo)售郵箱：sales@tronlong.com

|公司新聞|行業(yè)新聞|技術(shù)文章

基于RK3588J的6路MIPI CSI視頻采集案例分享，多路視頻系統(tǒng)必看！

2024/07/22

本文主要介紹基于創(chuàng)龍科技TL3588-EVM評(píng)估板（基于RK3588J）的6路高清視頻采集案例，開(kāi)發(fā)環(huán)境如下。

Windows開(kāi)發(fā)環(huán)境：Windows 7 64bit、Windows 10 64bit

虛擬機(jī)：VMware15.5.5

開(kāi)發(fā)環(huán)境：Ubuntu20.04.6 64bit

U-Boot：U-Boot-2017.09

Kernel：Linux-5.10.160

LinuxSDK：rk3588_linux_release_v1.2.1

攝像頭模塊型號(hào)：TL13850和Camera Module v2

視頻分辨率：1920x1080@30fps

圖1

備注：由于案例通過(guò)等比例拼接形式采集畫(huà)面，且攝像頭幀率需統(tǒng)一，因此攝像頭分辨率幀率均使用1920x1080@30fps。

RK3588J的MIPI CSI介紹

RK3588J的MIPI CSI接口介紹如下。

（1）支持多種視頻格式：RAW8、RAW10、RAW12、RAW14、YUV422。

（2）包含4個(gè)MIPI CSI DPHY接口，支持MIPI DPHY V1.2標(biāo)準(zhǔn)，每個(gè)接口支持2Lane，每Lane最高支持2.5Gbps；支持將2個(gè)MIPI CSI DPHY接口組合成1個(gè)4Lane數(shù)據(jù)通道接口使用。

（3）包含2個(gè)MIPI CSI DCPHY接口（MIPI CSI DPHY/CPHY復(fù)用），支持MIPI CPHY V1.1標(biāo)準(zhǔn)，每個(gè)MIPI CSI DCPHY支持4Lane數(shù)據(jù)通道，每Lane最高2.5Gbps。

（4）支持的攝像頭接口組合方案如下：

6個(gè)攝像頭接口配置：2個(gè)MIPI CSI DCPHY(4Lane)接口 + 4個(gè)MIPI CSI DPHY(2Lane)接口；

5個(gè)攝像頭接口配置：2個(gè)MIPI CSI DCPHY(4Lane)接口 + 1個(gè)MIPI CSI DPHY(4Lane)接口 + 2個(gè)MIPI CSI DPHY(2Lane)接口；

4個(gè)攝像頭接口配置：2個(gè)MIPI CSI DCPHY(4Lane)接口 + 2個(gè)MIPI CSI DPHY(4Lane)接口。

表 1

（5）常見(jiàn)視頻輸入數(shù)據(jù)量理論帶寬及MIPI CSI Lane數(shù)量要求，如下表所示：

備注：以下相關(guān)數(shù)據(jù)量估算不含數(shù)據(jù)傳輸協(xié)議相關(guān)開(kāi)銷(xiāo)，僅供參考。

表 2

案例功能說(shuō)明

ISP圖像處理說(shuō)明

RK3588J的ISP30模塊支持標(biāo)準(zhǔn)的Sensor圖像數(shù)據(jù)處理，包括自動(dòng)白平衡、自動(dòng)曝光、Demosaic、壞點(diǎn)矯正及鏡頭陰影矯正等基本功能，也支持HDR、去霧、降噪等高級(jí)處理功能。

ISP30功能框圖如下圖所示。

圖 2

RK3588J的圖像處理基于ISP圖像參數(shù)調(diào)試工具RKISP2.x Tuner對(duì)攝像頭采集的圖像進(jìn)行標(biāo)定，通過(guò)IQ參數(shù)文件將攝像頭采集的圖像優(yōu)化處理后發(fā)送至顯示設(shè)備。

RKISP2.x Tuner提供了一套便于用戶(hù)調(diào)試ISP參數(shù)的工具，用戶(hù)可以在RKISP2.x Tuner中對(duì)所有ISP模塊開(kāi)展標(biāo)定(Calibration)、調(diào)試(Tuning)等工作。用戶(hù)可以使用RKISP2.x Tuner提供的抓圖工具(Capture Tool)來(lái)拍攝RAW圖，在標(biāo)定工具(Calibration Tool)中完成基礎(chǔ)模塊的標(biāo)定工作，在RKISP2.x Tuner中連接設(shè)備，在線(xiàn)進(jìn)行ISP參數(shù)調(diào)試。

Tuner流程圖如下所示：

圖 3

縮放拼接功能說(shuō)明

案例基于Linux的V4L2采集1080P的攝像頭畫(huà)面，通過(guò)RGA進(jìn)行圖像縮放和拼接處理，最終利用DRM框架將處理后的整個(gè)畫(huà)面進(jìn)行顯示。

（1）采集圖像：V4L2(Video for Linux 2)是用于支持?jǐn)z像頭和視頻設(shè)備的框架，其提供了一組API和驅(qū)動(dòng)程序接口，用于在Linux系統(tǒng)中進(jìn)行視頻采集、視頻流處理和視頻播放等操作。

（2）縮放拼接：RGA(Raster Graphic Acceleration Unit)是?個(gè)獨(dú)立的2D硬件加速器，可?于加速點(diǎn)/線(xiàn)的繪制，執(zhí)行圖像縮放、旋轉(zhuǎn)、bitBlt、alpha混合等常?的2D圖形操作。

（3）圖像顯示：DRM(Direct Rendering Manager)是Linux內(nèi)核的一個(gè)子系統(tǒng)，負(fù)責(zé)與GPU進(jìn)行交互。用戶(hù)空間程序可以使用DRM的API向GPU發(fā)送命令和數(shù)據(jù)并執(zhí)行諸如配置顯示器模式設(shè)置之類(lèi)的操作。

RK3588J典型應(yīng)用領(lǐng)域

圖4

6路視頻采集案例演示

案例說(shuō)明

本案例實(shí)現(xiàn)6路攝像頭的圖像采集，并對(duì)圖像進(jìn)行縮放和拼接處理，最終通過(guò)HDMI顯示屏進(jìn)行顯示。其中配置所有攝像頭以1920x1080@30fps分辨率采集畫(huà)面，并通過(guò)硬件協(xié)處理器縮放拼接畫(huà)面后以1920x1080@30fps分辨率輸出到HDMI顯示屏。

圖 5

根據(jù)攝像頭的數(shù)量，顯示的畫(huà)面布局如下：

圖 6

案例測(cè)試

請(qǐng)使用FFC軟排線(xiàn)將MIPI攝像頭模塊（TL13850）連接至評(píng)估板CAMERA1、CAMERA2接口；將MIPI攝像頭模塊（Camera Module v2）連接至評(píng)估板CAMERA3~CAMERA6接口，然后將評(píng)估板HDMI OUT接口連接至HDMI顯示屏。

表 3

圖 7

請(qǐng)將案例bin目錄下的multi_camera_display可執(zhí)行程序拷貝至評(píng)估板文件系統(tǒng)任意目錄下，進(jìn)入可執(zhí)行程序所在目錄，執(zhí)行如下命令采集視頻，并輸出至顯示設(shè)備。命令參數(shù)"-o 208:71:1920x1080"表示將終端輸出至HDMI顯示器，打印信息"usec"表示耗時(shí)，單位為us，"fps"表示幀率。按"Ctrl + C"可停止運(yùn)行。

Target# ./multi_camera_display -M rockchip -i 84,66,75,93,102,111 -S 1920x1080 -f NV12 -F NV12 -b 4 -o 208:71:1920x1080

圖 8

圖 9

使用攝像頭采集PC機(jī)顯示屏的在線(xiàn)秒表圖像，經(jīng)過(guò)ARM處理后再將圖像進(jìn)行顯示。PC機(jī)顯示畫(huà)面與評(píng)估板顯示畫(huà)面的時(shí)間差，即為時(shí)延。進(jìn)行單路視頻采集和6路視頻采集時(shí)延測(cè)試，得到的時(shí)延結(jié)果如下表所示。