本文由芒果TV音視頻技術(shù)專(zhuān)家譚嵩在LiveVideoStackCon2020線上峰會(huì)的演講內(nèi)容整理而成，結(jié)合芒果TV的工程化研發(fā)實(shí)踐經(jīng)驗(yàn)，對(duì)基于主觀感興趣區(qū)域的視頻編碼技術(shù)進(jìn)行了詳細(xì)解析。

大家好，本次分享我將結(jié)合芒果TV音視頻技術(shù)研發(fā)團(tuán)隊(duì)的實(shí)踐，對(duì)主觀感興趣區(qū)域的視頻編碼技術(shù)進(jìn)行詳細(xì)解析。內(nèi)容包括以上四個(gè)部分，其中會(huì)重點(diǎn)介紹我們?cè)谥饔^感興趣區(qū)域編碼工程化中遇到的一些問(wèn)題與思考。 1 5G背景下，視頻運(yùn)營(yíng)平臺(tái)的新挑戰(zhàn)

隨著5G時(shí)代的到來(lái)，用戶(hù)對(duì)于視頻畫(huà)質(zhì)體驗(yàn)的要求越來(lái)越高，如4K、8K、高幀率、HDR等。廣電總局對(duì)電視播出的4K超高清視頻規(guī)范的要求是視頻碼率大于100兆?；ヂ?lián)網(wǎng)視頻應(yīng)用對(duì)此還沒(méi)有規(guī)范性的標(biāo)準(zhǔn)，但為了達(dá)到合格的播放體驗(yàn)要求，視頻碼率也將呈現(xiàn)出成倍增長(zhǎng)的趨勢(shì)，這就導(dǎo)致視頻運(yùn)營(yíng)平臺(tái)短期內(nèi)在CDN成本、用戶(hù)播放卡頓兩方面會(huì)面臨更加嚴(yán)峻的挑戰(zhàn)。

面對(duì)上述挑戰(zhàn)，我們最容易想到的方法就是通過(guò)壓縮效率更高的下一代視頻編碼標(biāo)準(zhǔn)，如AV1、VVC等，有效降低成本。但就目前情況來(lái)看，這些標(biāo)準(zhǔn)其實(shí)還不具備大規(guī)模商用的生態(tài)環(huán)境，真正能夠支持硬件解碼的設(shè)備其實(shí)非常的少。另一方面，內(nèi)容感知編碼以及拐點(diǎn)參數(shù)在國(guó)內(nèi)外各大視頻平臺(tái)已經(jīng)得到普遍的應(yīng)用。在這種情況下，我們需要的是挖掘更多的工具或手段，極限壓榨編碼的碼率。 2 人眼主觀感興趣關(guān)注的特點(diǎn) 2.1 人眼的視覺(jué)過(guò)程

人眼的視覺(jué)過(guò)程大致為視網(wǎng)膜成像，大腦接收信息并做出初步的分析，產(chǎn)生視覺(jué)注意力聚集，并且最后對(duì)重點(diǎn)區(qū)域做關(guān)注。例如，人在開(kāi)車(chē)過(guò)程中，前方的道路和車(chē)輛就是主觀關(guān)注和感興趣區(qū)域，周邊的區(qū)域就是非關(guān)注區(qū)域。

2.2 主觀感興趣區(qū)域數(shù)據(jù)的提取

主觀感興趣區(qū)域數(shù)據(jù)集一般是通過(guò)眼動(dòng)儀獲取。眼動(dòng)儀是記錄眼動(dòng)行為的一套設(shè)備，它包括一幅特殊的眼鏡，一個(gè)記錄模塊，一套控制軟件，一套數(shù)據(jù)分析軟件。其中控制軟件是非常重要的一個(gè)組成部分，因?yàn)樗獙?duì)觀看的對(duì)象和眼部行為數(shù)據(jù)做精密的同步，數(shù)據(jù)分析軟件就是后期對(duì)數(shù)據(jù)做清洗分析。

使用眼動(dòng)儀獲取ROI大數(shù)據(jù)要注意這樣幾點(diǎn)問(wèn)題：首先使用眼動(dòng)儀收集數(shù)據(jù)的成本比較高，且更為重要的是人力的投入，因?yàn)樾枰幸欢ɑ鶖?shù)的參與量，數(shù)據(jù)才具有客觀意義；其次是數(shù)據(jù)的可靠性，一個(gè)經(jīng)驗(yàn)并不豐富的測(cè)試人員，很可能在測(cè)試過(guò)程中會(huì)給自己某些心理暗示，導(dǎo)致記錄的行為并非自然狀態(tài)下的真實(shí)行為，也就是說(shuō)最后取得的數(shù)據(jù)很可能是無(wú)效的；最后，第三點(diǎn)就是數(shù)據(jù)清洗。 3 主觀感興趣視頻編碼的工程應(yīng)用 3.1 設(shè)計(jì)背景

基于感興趣區(qū)域的視頻編碼是利用人眼主觀存在感興趣區(qū)域和非感興趣區(qū)域的特點(diǎn)，我們對(duì)主觀感興趣區(qū)域和非感興趣區(qū)域的碼率分配做一定的修正，將更多的碼率分配到主觀感興趣區(qū)域，從而在主觀上提升視頻質(zhì)量。這是感興趣區(qū)域視頻編碼的理論設(shè)計(jì)，在工程上官方版本的x264、x265編碼器并沒(méi)有這樣的設(shè)計(jì)，即對(duì)于一個(gè)x264編碼器或者x265編碼器來(lái)說(shuō)，視頻的每個(gè)畫(huà)面中的每個(gè)像素都是同等重要。因此我們需要對(duì)編碼器做一個(gè)工程化的開(kāi)發(fā)，來(lái)實(shí)現(xiàn)不同像素的權(quán)重差異化，目標(biāo)是達(dá)到同等碼率提升主觀質(zhì)量或者同等體驗(yàn)降低碼率，降低運(yùn)營(yíng)成本。 3.2 ROI編碼器實(shí)現(xiàn)架構(gòu)設(shè)計(jì)

我們?cè)诰幋a的兩個(gè)階段做了ROI的處理，分別是視頻的前處理以及視頻編碼的過(guò)程。 前處理階段主要是做ROI區(qū)域的增強(qiáng)，即圖像層面的增強(qiáng)，同時(shí)對(duì)非ROI區(qū)域圖像層面，進(jìn)行降噪、磨皮等處理。做過(guò)視頻編碼的朋友應(yīng)該清楚，高頻其實(shí)對(duì)編碼是不太友好的，低頻則對(duì)編碼更加友好。非ROI區(qū)域進(jìn)行降噪、磨皮之后，更多的就變成了相對(duì)友好的低頻區(qū)域。那么在同等的PSNR或者客觀指標(biāo)下，碼率會(huì)有明顯的降低。 視頻編碼階段，我們主要是通過(guò)AQ調(diào)整QP值，實(shí)現(xiàn)碼率分配的修正。也就是說(shuō)對(duì)不同的主觀感興趣區(qū)域和非感興趣區(qū)域做不同的QP調(diào)整， QP越小，質(zhì)量越好，碼率也會(huì)越高；QP越大，宏塊得到的碼率越小，畫(huà)質(zhì)越差。通過(guò)這樣一個(gè)調(diào)整，實(shí)現(xiàn)ROI的權(quán)重調(diào)整。 3.3 ROI區(qū)域的定義

ROI編碼并不是一個(gè)很新的概念，之前就有中心區(qū)域ROI、人臉ROI、字幕ROI等。 中心區(qū)域ROI是基于經(jīng)驗(yàn)的判斷，在正常視頻的拍攝手法上通常會(huì)將最重要的內(nèi)容放在畫(huà)面最中間。人臉ROI其實(shí)也是基于這樣的經(jīng)驗(yàn)判斷，一般來(lái)講人物往往是視頻內(nèi)容中的主角。 字幕ROI是非常重要的一個(gè)方面，我們做過(guò)一個(gè)主觀的調(diào)研：完全同樣的視頻畫(huà)面，分別提供不同清晰度的字幕進(jìn)行主觀盲測(cè)。最終結(jié)果是：認(rèn)為“字幕清晰”的視頻是“畫(huà)質(zhì)更好”視頻的，占比明顯更高。 基于深度學(xué)習(xí)的ROI區(qū)域識(shí)別是當(dāng)前更有效的手段。 3.4 深度學(xué)習(xí)的ROI的識(shí)別技術(shù)

基于深度學(xué)習(xí)的ROI的識(shí)別在技術(shù)上分為兩類(lèi)，一個(gè)是基于感興趣區(qū)域的熱度圖檢測(cè)，另外一個(gè)是顯著對(duì)象分割。通過(guò)實(shí)踐理解，在應(yīng)用場(chǎng)景上我們認(rèn)為這兩者是有一定差異性的。我們認(rèn)為感興趣區(qū)域的熱度圖更適合長(zhǎng)視頻劇集類(lèi)型的節(jié)目，顯著對(duì)象分割則更適合真人自拍小視頻等場(chǎng)景。 3.4.1 顯著對(duì)象分割

顯著對(duì)象分割為什么會(huì)更適合真人直播或者真人自拍小視頻？ 真人直播或者真人自拍小視頻通常來(lái)說(shuō)有這兩個(gè)特點(diǎn)：第一是前景在畫(huà)面中面積的占比一般較大；第二是前景和背景相關(guān)性比較弱，且前景的內(nèi)容重要性具有絕對(duì)的地位。以此可以也必須對(duì)背景做比較多的圖像細(xì)節(jié)丟失和編碼壓縮，來(lái)提升前景顯著區(qū)域的畫(huà)面質(zhì)量。 3.4.2 感興趣區(qū)域熱度檢測(cè)

劇集類(lèi)長(zhǎng)視頻節(jié)目的特點(diǎn)是畫(huà)面的整體相關(guān)性更強(qiáng)、畫(huà)面存在多點(diǎn)位ROI區(qū)域，因此不能類(lèi)似于真人小視頻一樣過(guò)度的衰減非ROI區(qū)域來(lái)補(bǔ)償ROI區(qū)域，需要用較多的非ROI區(qū)域來(lái)補(bǔ)償較小的ROI區(qū)域，這樣非ROI區(qū)域的衰減在主觀上也不明顯。感興趣熱度圖符合這個(gè)需求特點(diǎn)。 3.5 第一版ROI編碼工程化實(shí)現(xiàn)過(guò)程

這是我們?cè)赗OI編碼工程化過(guò)程中實(shí)現(xiàn)的第一個(gè)版本。首先實(shí)現(xiàn)的是對(duì)一個(gè)ROI元素的處理。我們從原圖分析得到ROI的熱度圖，然后對(duì)熱度圖做二值化處理并且膨脹后腐蝕到可控的閾值范圍內(nèi)的ROI面積占比。最后我們做了一個(gè)宏塊級(jí)的數(shù)據(jù)結(jié)構(gòu)化，因?yàn)樽罱K要映射到編碼宏塊上去，這里有一個(gè)閾值參數(shù)，是我們要控制好ROI區(qū)域和非ROI區(qū)域的面積占比。面積太小，ROI增強(qiáng)的效果不太明顯，但是面積過(guò)大，由于ROI區(qū)域畫(huà)質(zhì)提升是以犧牲非ROI區(qū)域的細(xì)節(jié)或質(zhì)量實(shí)現(xiàn)的，這會(huì)導(dǎo)致非ROI區(qū)域的質(zhì)量下降非常明顯、如果進(jìn)一步下降達(dá)到主觀產(chǎn)生厭惡感的閾值，會(huì)吸引注意力到這些糟糕的、突兀的畫(huà)面上，ROI編碼的目的就沒(méi)有達(dá)到。

在工程化實(shí)現(xiàn)上，我們對(duì)x264、265編碼器做了一個(gè)ROI的編碼實(shí)現(xiàn)。編碼器讀取當(dāng)前幀的ROI分析結(jié)果元數(shù)據(jù)，在視頻編碼器中通過(guò)AQ實(shí)現(xiàn)對(duì)QP的修正，ROI區(qū)域的QP會(huì)降低，編碼質(zhì)量會(huì)提升，同時(shí)碼率也會(huì)消耗的更多。整幀碼率控制依然由x264和x265原生的碼率控制算法負(fù)責(zé)。 3.6 二值ROI的失敗case

做完第一個(gè)版本之后，我們發(fā)現(xiàn)，由于這是一個(gè)二值ROI，ROI區(qū)域和非ROI區(qū)域是0和1的區(qū)別，導(dǎo)致ROI和非ROI區(qū)域的非平滑過(guò)渡在銜接處會(huì)有一個(gè)明顯的畫(huà)質(zhì)對(duì)比跳變（QP值跳變）。第二個(gè)問(wèn)題是我們對(duì)非ROI區(qū)域的QP調(diào)整是交回給x264和x265編碼器原生的碼率控制，由于我們對(duì)ROI區(qū)域的QP調(diào)整破壞了原生碼率控制算法的數(shù)學(xué)關(guān)系，所以部分場(chǎng)景出現(xiàn)非ROI區(qū)域的渣感現(xiàn)象。這是兩個(gè)失敗的case。 3.7 灰階ROI迭代版本

因?yàn)樯鲜鰞蓚€(gè)失敗的case，我們進(jìn)一步提出了一個(gè)迭代版本灰階ROI。灰階ROI實(shí)現(xiàn)的是ROI和非ROI區(qū)域之間一個(gè)ROI強(qiáng)度的灰度過(guò)渡，所以QP會(huì)有一個(gè)平滑的調(diào)整，避免兩個(gè)區(qū)域邊緣質(zhì)量差距過(guò)大，形成一個(gè)突兀的畫(huà)質(zhì)對(duì)比。 3.7.1 灰階ROI的計(jì)算過(guò)程

灰階ROI碼率控制的計(jì)算過(guò)程：我們的計(jì)算目標(biāo)是得到一個(gè)QP的修正值QP’，Sij是我們對(duì)應(yīng)宏塊的一個(gè)灰階的ROI值，也就是我們剛才這里ROI的一個(gè)灰度的數(shù)值，范圍是0到255。p%其實(shí)是ROI區(qū)域的面積占比，b%是ROI區(qū)域的碼率的占比，也就是說(shuō)我們?cè)趐%面積占比的ROI區(qū)域上給予了b%的碼率。目前我們采用的數(shù)值p是20%，b是30%，會(huì)對(duì)20%的面積修正給予30%的碼率。同時(shí)對(duì)非ROI區(qū)域的QP做了反向的主動(dòng)修正。

通過(guò)這個(gè)迭代版本實(shí)現(xiàn)了ROI和非ROI區(qū)域畫(huà)質(zhì)的平滑過(guò)渡，同時(shí)非ROI區(qū)域渣感明顯降低。 3.8 效果評(píng)估

這段視頻是最終送給編碼器指導(dǎo)ROI編碼的ROI灰階圖數(shù)據(jù)的真實(shí)示例。為了更加清晰和直觀，這個(gè)示例中非ROI區(qū)域我們做了一個(gè)灰度視頻顯示，ROI區(qū)域還是原來(lái)的彩色顯示。

上圖是ROI編碼和非ROI編碼的實(shí)際效果對(duì)比圖。其中ROI編碼的版本降低10%碼率，在這個(gè)條件下，主觀質(zhì)量依然高于非ROI編碼版本。 4 問(wèn)題和挑戰(zhàn)

我們?cè)谧詈罄^續(xù)向行業(yè)拋出這個(gè)不算很新的話題 — ROI編碼視頻質(zhì)量的機(jī)器評(píng)價(jià)，目前我們主要還是通過(guò)人工的方式進(jìn)行一些主觀評(píng)價(jià)。在批量化自動(dòng)生產(chǎn)條件下，如何做好ROI編碼視頻質(zhì)量的機(jī)器評(píng)價(jià)，是非常具有挑戰(zhàn)和價(jià)值的一項(xiàng)工作。