1 系統(tǒng)概述

海思提供的媒體處理軟件平臺(tái)(Media Process Platform,簡(jiǎn)稱(chēng) MPP)，可支持應(yīng)用軟件快速開(kāi)發(fā)。該平臺(tái)對(duì)應(yīng)用軟件屏蔽了芯片相關(guān)的復(fù)雜的底層處理，并對(duì)應(yīng)用軟件直接提供MPI（MPP Program Interface）接口完成相應(yīng)功能。該平臺(tái)支持應(yīng)用軟件快速開(kāi)發(fā)以下功能：輸入視頻捕獲、 H.265/H.264/JPEG 編碼、 H.265/H.264/JPEG 解碼、 視頻輸出顯示、視頻圖像前處理（包括去噪、增強(qiáng)、銳化）、 圖像拼接、 圖像幾何矯正、智能、音頻捕獲及輸出、音頻編解碼等功能。

1.1 系統(tǒng)架構(gòu)

架構(gòu)

系統(tǒng)軟件架構(gòu)可以分為四層：

最底層是硬件驅(qū)動(dòng)層。

操作系統(tǒng)層；海思支持linux和liteos，此文只涉及l(fā)inux部分。

媒體層；此層是海思平臺(tái)軟件架構(gòu)的核心，海思平臺(tái)將媒體相關(guān)的功能都抽象到了這一層，如音視頻輸入輸出、isp圖像處理、編解碼等，最關(guān)鍵的是獨(dú)立的內(nèi)存管理機(jī)制，物理內(nèi)存、虛擬內(nèi)存都有獨(dú)立的機(jī)制進(jìn)行分配和回收，減少了與操作系統(tǒng)層的關(guān)聯(lián)。包含的軟件有各種媒體相關(guān)的驅(qū)動(dòng)、庫(kù)的支持，還有整套的媒體開(kāi)發(fā)平臺(tái)。本文要介紹的MPP就是媒體軟件處理平臺(tái)。

最上層是應(yīng)用層。

1.2 處理流程

海思媒體處理平臺(tái)的主要內(nèi)部處理流程分為視頻輸入（VI）、視頻處理（VPSS）、視頻編碼（VENC）、 視頻解碼（VDEC）、 視頻輸出(VO)、視頻拼接(AVS)、音頻輸入(AI)、音頻輸出(AO)、音頻編碼（AENC）、音頻解碼（ADEC）、區(qū)域管理（REGION）等模塊。

VI 模塊捕獲視頻圖像，可對(duì)其做剪切、 去噪等處理，并輸出多路不同分辨率的圖像數(shù)據(jù)。

解碼模塊對(duì)編碼后的視頻碼流進(jìn)行解碼，并將解析后的圖像數(shù)據(jù)送 VPSS 進(jìn)行圖像處理， 再送 VO 顯示?？蓪?duì) H.265/H.264/JPEG 格式的視頻碼流進(jìn)行解碼。

VPSS 模塊接收 VI 和解碼模塊發(fā)送過(guò)來(lái)的圖像，可對(duì)圖像進(jìn)行圖像增強(qiáng)、銳化等處理，并實(shí)現(xiàn)同源輸出多路不同分辨率的圖像數(shù)據(jù)用于編碼、預(yù)覽或抓拍。

編碼模塊接收 VI 捕獲并經(jīng) VPSS 處理后輸出的圖像數(shù)據(jù)，可疊加用戶(hù)通過(guò) Region模塊設(shè)置的 OSD 圖像，然后按不同協(xié)議進(jìn)行編碼并輸出相應(yīng)碼流。

VO 模塊接收 VPSS 處理后的輸出圖像，可進(jìn)行播放控制等處理，最后按用戶(hù)配置的輸出協(xié)議輸出給外圍視頻設(shè)備。

上圖也包含很多典型的視頻流的處理流程。sensor負(fù)責(zé)采集圖像，是海思平臺(tái)的輸入，圖像經(jīng)過(guò)海思內(nèi)部VI、VPSS、VENC和VO后，經(jīng)由hdmi輸出到顯示屏上，sdk提供的sample_vio中有幾個(gè)case就是這個(gè)典型的流程，同時(shí)sample_vio也是最常用到的samle。

2 MPP部署

在一般的嵌入式開(kāi)發(fā)中，只要將uboot，kernel，rootfs下載到開(kāi)發(fā)板上，就可以進(jìn)行程序開(kāi)發(fā)了。但是海思又進(jìn)一步把與多媒體相關(guān)的內(nèi)容整合到MPP平臺(tái)中，SDK中推薦使用mount nfs的方法先部署起mpp。

搭建nfs服務(wù)器，開(kāi)發(fā)板作為nfs客戶(hù)端。

掛載nfs文件系統(tǒng)

mount -t nfs -o nolock -o tcp -o rsize=32768,wsize=32768 xx.xx.xx.xx:/your-nfs-path /mnt，然后就可以在/mnt目錄訪問(wèn)nfs服務(wù)器上的文件。

加載驅(qū)動(dòng)
cd mpp/ko
./ load3519v100 -i -sensor0 imx334

運(yùn)行sample程序
cd mpp/sample /vio
./sample_vio 0 0

3 視頻輸入

視頻輸入單元 VI（Video Input），可以通過(guò) MIPI Rx（包含 MIPI、LVDS、HiSPi、SLVS-EC）接口、BT.656/601、BT.1120 接口和 DC（Digital Camera）接收視頻數(shù)據(jù)，存入指定的內(nèi)存區(qū)域。VI 內(nèi)嵌 ISP 圖像處理單元，可以直接對(duì)接外部原始數(shù)據(jù)（BAYER RGB 數(shù)據(jù)），VI 的功能框圖如下圖所示。 VI 分成兩個(gè)物理子模塊：捕獲子模塊 VICAP 和處理子模塊 VIPROC 組成。

海思SDK對(duì)VI的功能框架進(jìn)行了封裝，VI內(nèi)部結(jié)構(gòu)對(duì)于開(kāi)發(fā)者來(lái)說(shuō)是黑盒，并且黑盒內(nèi)部的代碼不進(jìn)行開(kāi)源。黑盒外部進(jìn)行了軟件級(jí)的封裝，因此VI在軟件層次上劃分4個(gè)部分，輸入設(shè)備(DEV)、輸入 PIPE、物理通道(PHY_CHN)和擴(kuò)展通道(EXT_CHN)，如下圖所示，開(kāi)發(fā)者也只需要關(guān)注軟件架構(gòu)上的這四個(gè)層級(jí)即可。

此處只針對(duì)VI進(jìn)行了講解，其他模塊也需要參考海思手冊(cè)，此處不再一一寫(xiě)出了。

4 開(kāi)發(fā)

4.1 預(yù)覽與拍照

下圖是雙 pipe 離線模式拍照的數(shù)據(jù)通路，上面的pipe是preview通路，下面的pipe是capture通路，一般相機(jī)的通路都是如此，preview對(duì)圖像質(zhì)量要求略低，capture對(duì)圖像質(zhì)量要求高。當(dāng)然，此圖是海思平臺(tái)的雙pipe離線模式，還有在線模式、單pipe模式等，大體意思相近，不同模式的選擇需要根據(jù)芯片的處理能力和圖像的質(zhì)量需求進(jìn)行。

4.2 新sensor開(kāi)發(fā)

準(zhǔn)備工作

確認(rèn)主芯片規(guī)格。支持 Master 模式，支持的線性、WDR 接口模式，支持輸入頻率上限。

sensor datasheet。確認(rèn)圖像傳輸接口模式，輸出頻率。確認(rèn)曝光時(shí)間、增益如何設(shè)置，幀率如何修改。確認(rèn)在 WDR 模式下的以上兩項(xiàng)。

mipi/并口。確認(rèn)接口，并確認(rèn)時(shí)序。

initialize settings。獲取 Sensor Initialize Settings，一般至少要準(zhǔn)備最大規(guī)格和標(biāo)準(zhǔn)分辨率兩種序列。

內(nèi)核層

pinmux的配置

power的檢查

clock的配置

控制通路i2c/spi的檢查

應(yīng)用層
sensor_ctl.c，sensor的配置，需要結(jié)合datasheet完善initialize settings。

cmos.c，isp的基本功能。按如下函數(shù)順序進(jìn)行實(shí)現(xiàn)。

cmos_set_image_mode(), cmos_set_wdr_mode()。

sensor_global_init()。

sensor_init(), sensor_exit()。

cmos_get_isp_default(),cmos_get_isp_black_level()。

sensor點(diǎn)亮后還需要進(jìn)行ae功能的完善，自動(dòng)配置增益、曝光時(shí)間、幀率等。
之后還有白平衡的配置，配置完成后，顏色基本就正常了。
到此處，添加的新sensor基本就可用了，后續(xù)就是AF和各種圖像質(zhì)量調(diào)優(yōu)相關(guān)的工作了。

審核編輯：湯梓紅