RM新时代网站-首页

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線(xiàn)課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

如何設(shè)計(jì)CEV模型與質(zhì)量甜點(diǎn)算法詳細(xì)資料概述

LiveVideoStack ? 來(lái)源:未知 ? 2018-12-23 10:12 ? 次閱讀

實(shí)時(shí)視頻通信質(zhì)量評(píng)價(jià)的方法思路并不復(fù)雜,其難點(diǎn)一是在于實(shí)時(shí)通訊通常并沒(méi)有參考,其準(zhǔn)確度與精度難以達(dá)到一個(gè)客觀最佳值;二是在于我們并不希望實(shí)時(shí)通信的計(jì)算量過(guò)大,應(yīng)當(dāng)盡量避免傳統(tǒng)編碼與那些會(huì)明顯提升算法復(fù)雜度的方法。在介紹完實(shí)時(shí)視頻通信質(zhì)量評(píng)價(jià)的方法研究之后,我將為大家分享如何根據(jù)質(zhì)量模型設(shè)計(jì)質(zhì)量甜點(diǎn)算法。

PART1 評(píng)價(jià)實(shí)時(shí)視頻通信質(zhì)量

1.動(dòng)機(jī)

我們能否找到一種可靠的評(píng)價(jià)視頻通話(huà)質(zhì)量的自動(dòng)化方法?能否實(shí)現(xiàn)對(duì)視頻通話(huà)端到端質(zhì)量的實(shí)時(shí)監(jiān)控?想必這兩項(xiàng)都是產(chǎn)品上線(xiàn)測(cè)試與運(yùn)營(yíng)中亟需的衡量標(biāo)尺。

但我們并不能將現(xiàn)有的簡(jiǎn)單方法直接用于評(píng)價(jià)實(shí)時(shí)視頻通信質(zhì)量,首先是因?yàn)閭鹘y(tǒng)方法中比較常用的 PSNR、SSIM需要參考圖像用以比較并且每一幀都要計(jì)算,這對(duì)實(shí)時(shí)視頻通信來(lái)說(shuō)計(jì)算量較大;其次,傳統(tǒng)方法僅考慮空間維度的質(zhì)量而未考慮時(shí)間維度的質(zhì)量,實(shí)時(shí)視頻通信還需重點(diǎn)考慮到時(shí)間間緯度的質(zhì)量,即低延遲和流暢度。

當(dāng)然,從2008年到2017年陸陸續(xù)續(xù)有改進(jìn)方法被提出,如PEVQ、VQuad-HD、VMAF等,雖然相對(duì)于之前的方法有所進(jìn)步,但由于這些方法需要全參考,其背后龐大的計(jì)算量并不適用于實(shí)時(shí)視頻通訊。

視頻質(zhì)量評(píng)價(jià)模型有以下三種:全參考、半?yún)⒖?、無(wú)參考??紤]到運(yùn)營(yíng)系統(tǒng)中可以獲取部分參考信息,我們主要選用了半?yún)⒖寄P?。半?yún)⒖寄P碗m然不需要獲取原始視頻作為對(duì)比,但也可獲取原始視頻中的一些編碼和網(wǎng)絡(luò)信息特征作為對(duì)比如QP、PSNR、RTT等。

至于ITU在2017年提出的基于碼流的傳輸評(píng)價(jià)模型,可以說(shuō)與我們的需求較為貼近。此類(lèi)模型原理可總結(jié)為輸入所需特征值并通過(guò)訓(xùn)練模型輸出結(jié)果,但此方法輸入的特征值并不包括實(shí)時(shí)視頻通訊中容易出現(xiàn)的網(wǎng)絡(luò)丟包、延時(shí)、帶寬限制等影響因素,并不適用于實(shí)時(shí)視頻通訊。

綜上所述,為了實(shí)現(xiàn)符合要求的評(píng)價(jià)實(shí)時(shí)視頻通信質(zhì)量方法,我們根據(jù)自身需求提出了一種涵蓋時(shí)間質(zhì)量與空間質(zhì)量?jī)蓚€(gè)維度的全新質(zhì)量模型CEV。實(shí)時(shí)視頻通訊的質(zhì)量由時(shí)間質(zhì)量與空間質(zhì)量共同決定二者缺一不可,時(shí)間質(zhì)量包括流暢度、延時(shí)等確保視頻流暢播放的指標(biāo),空間質(zhì)量包括清晰度等確保畫(huà)面觀感的指標(biāo)。

2.基于CEV質(zhì)量評(píng)價(jià)模型的實(shí)踐

我們基于CEV質(zhì)量評(píng)價(jià)模型的實(shí)踐主要分為以下四步驟:

生成系統(tǒng)

主要用于生成參與人工主觀打分的視頻源。

打分系統(tǒng)

由于主觀MOS分質(zhì)量評(píng)價(jià)是一個(gè)黃金標(biāo)準(zhǔn),此項(xiàng)標(biāo)準(zhǔn)需要人工主觀打分進(jìn)行統(tǒng)計(jì),我們需要大量的人工評(píng)估數(shù)據(jù)才能讓質(zhì)量評(píng)價(jià)算法標(biāo)準(zhǔn)具有良好匹配度。通過(guò)建立的打分系統(tǒng),我們收集參與者的打分結(jié)果并導(dǎo)出主觀分?jǐn)?shù)據(jù)用于接下來(lái)的分析。

視頻質(zhì)量分

基于打分系統(tǒng)得到的人工主觀分?jǐn)?shù)據(jù)我們分析影響視頻質(zhì)量的多項(xiàng)因子。

建模預(yù)測(cè)

根據(jù)主觀評(píng)分建立預(yù)測(cè)模型并預(yù)測(cè)不同參數(shù)下視頻的質(zhì)量得分。

2.1 生成系統(tǒng)

我們的研究主要針對(duì)于實(shí)時(shí)視頻通信,著重于研究編碼失真與傳輸失真。雖然在標(biāo)準(zhǔn)庫(kù)中有很多失真類(lèi)型如高頻噪聲、高斯模糊、壓縮失真等等,但對(duì)不適用于實(shí)時(shí)視頻的質(zhì)量評(píng)價(jià)。在編碼失真方面我們的研究主要圍繞量化失真、頻域變換失真(DCT)、下采樣失真、良性超分辨率失真與良性濾波失真展開(kāi);在傳輸失真方面則主要圍繞降低幀率(抽幀)、卡幀丟幀與延遲展開(kāi)。

雖然失真類(lèi)型復(fù)雜多樣,但我們的研究主要針對(duì)傳輸失真與編碼失真,并未著重考慮如高斯模糊或偏移失真等其他失真類(lèi)型?;诖饲疤嵛覀兎e累了900個(gè)視頻失真試?yán)渲?00個(gè)為傳輸失真;并讓35人參與實(shí)驗(yàn),得到生成系統(tǒng)的實(shí)驗(yàn)數(shù)據(jù)。

如果將我們的實(shí)驗(yàn)數(shù)據(jù)與公共數(shù)據(jù)集進(jìn)行對(duì)比,可以看到我們的數(shù)據(jù)量處在第三名左右的位置。

在生成系統(tǒng)中,系統(tǒng)會(huì)首先分析視頻源并依據(jù)其在時(shí)間與空間復(fù)雜度上的不同將視頻進(jìn)行分類(lèi),按照分辨率等指標(biāo)整理得到無(wú)損視頻序列;隨后系統(tǒng)會(huì)對(duì)其中部分視頻進(jìn)行模擬丟包、編碼器失真等操作從而生成一定數(shù)量的低質(zhì)量視頻;最后再將這些低質(zhì)量視頻與原始視頻混合推送至實(shí)驗(yàn)端進(jìn)行打分操作。

2.2 眾包打分系統(tǒng)

實(shí)驗(yàn)端是簡(jiǎn)易的Web頁(yè)面,參與者通過(guò)Web端觀看視頻并打分,以便接下來(lái)的影響因子分析。

影響因子分析主要會(huì)從時(shí)間質(zhì)量與空間質(zhì)量?jī)纱蠓矫嫒婧饬坑绊懸曨l通信質(zhì)量的因素。在時(shí)間質(zhì)量方面,除了時(shí)間戳,系統(tǒng)會(huì)著重分析視頻延時(shí)RTT與流暢性(幀速率、卡頓時(shí)間)。一般的直播系統(tǒng),流暢性較易達(dá)成而低延時(shí)無(wú)法完全保證,而實(shí)時(shí)性則是實(shí)時(shí)視頻通訊之根本。所以,一般的實(shí)時(shí)系統(tǒng)為了保證嚴(yán)苛的實(shí)時(shí)性體驗(yàn)會(huì)犧牲一部分畫(huà)面質(zhì)量與流暢性。在空間質(zhì)量方面,系統(tǒng)會(huì)重點(diǎn)考量顯示分辨率、編碼分辨率、編碼量化參數(shù)等。帶寬資源是否充足會(huì)對(duì)空間質(zhì)量產(chǎn)生顯著影響,而量化損失分析主要通過(guò)記錄QP編碼的量化參數(shù)實(shí)現(xiàn),SSIM/PSNR則是在計(jì)算資源允許的條件下得到空間質(zhì)量。

于是我們實(shí)現(xiàn)了前文提到的半?yún)⒖寄P驮谟绊懸蜃臃治錾系倪\(yùn)用。位于上圖右側(cè)的TMOS分是對(duì)時(shí)間質(zhì)量的量化,其所需要的RTT、Timestamp、FPS、CSPM等參數(shù)主要來(lái)源于解碼端;左側(cè)的SMOS分是對(duì)空間質(zhì)量的量化,其所需要的SSIM/PSNR、分辨率、QP等參數(shù)主要來(lái)源于編碼端。此模型主要的功能便是將來(lái)自解碼端與編碼端的數(shù)據(jù)整合分析最終生成一個(gè)整體模型,這些數(shù)據(jù)都會(huì)經(jīng)過(guò)SVM/NN(神經(jīng)網(wǎng)絡(luò))/Fitting的處理得到相應(yīng)的時(shí)間質(zhì)量/空間質(zhì)量評(píng)價(jià)值,用以實(shí)現(xiàn)對(duì)視頻通信質(zhì)量的估計(jì)。

分析時(shí)間質(zhì)量TMOS

在分析時(shí)間質(zhì)量TMOS時(shí),我們會(huì)優(yōu)先采取擬合模型處理RTT、Play Timestamp、Frame rate、CSPM,原因是我們希望用最小的代價(jià)快速得到最有價(jià)值的數(shù)據(jù)。

1)回歸預(yù)測(cè)

最佳策略便是僅將所有變量代入一個(gè)公式就可直接得到TMOS,我們使用圖中的公式對(duì)Fmos、RTTmos、Cmos等進(jìn)行擬合,公式中的m9、m10、m13等等代表的就是這些擬合參數(shù),此公式利用梯度下降法訓(xùn)練,將這些實(shí)際評(píng)測(cè)出的數(shù)據(jù)進(jìn)行均方差最小(損失函數(shù))的擬合,即可得到這個(gè)公式的一系列參數(shù)。

我們會(huì)選取其中70%的數(shù)據(jù)用于訓(xùn)練,30%的數(shù)據(jù)用于測(cè)試并得出相關(guān)系數(shù),上圖展示的是便是我們的一個(gè)測(cè)試集得出的相關(guān)系數(shù)為0.86。

2)SVM建模

除了上述實(shí)踐,我們還使用了SVM方法訓(xùn)練系統(tǒng)。SVM的意義在于可將原本難以量化的時(shí)間戳引入公式作為參數(shù)的一部分影響最終的評(píng)估結(jié)果,使用SVM后相同測(cè)試集得到的相關(guān)系數(shù)由原來(lái)的0.86變?yōu)?.93,精度進(jìn)一步提升。

3)NN神經(jīng)網(wǎng)絡(luò)

除了回歸預(yù)測(cè)與SVM建模,神經(jīng)網(wǎng)絡(luò)也能為提升MOS分的精度帶來(lái)幫助,前提是需要足夠的訓(xùn)練數(shù)據(jù)規(guī)模。在實(shí)踐中我們使用了七至八層的深度網(wǎng)絡(luò),也嘗試了兩至三層的淺度網(wǎng)絡(luò),測(cè)試得到的最高相關(guān)系數(shù)為0.88,比不上SVM建模優(yōu)化后的0.93,其原因可能是訓(xùn)練的數(shù)據(jù)量不夠,具體原因還需要進(jìn)一步分析。因此,最終我們選擇了可用于現(xiàn)網(wǎng)質(zhì)量跟蹤的回歸預(yù)測(cè)與可用于實(shí)驗(yàn)室測(cè)試評(píng)估的SVM建模優(yōu)化TMOS時(shí)間質(zhì)量分析模型。

分析空間質(zhì)量SMOS

1)回歸預(yù)測(cè)

分析空間質(zhì)量首先需要評(píng)估PSNR/SSIM指標(biāo)。

上面兩張圖的左側(cè)分別表示我們經(jīng)過(guò)測(cè)試得到的PSNR/SSIM數(shù)據(jù)集分布規(guī)律,右側(cè)表示互聯(lián)網(wǎng)上公開(kāi)的PSNR/SSIM數(shù)據(jù)集分布規(guī)律,可以看到二者大致相同。

如果討論具體的量化指標(biāo),上圖展示的是SMOS的幾個(gè)實(shí)用數(shù)據(jù)。我們可以看到當(dāng)PSNR為30時(shí)SMOS分為3.00。

根據(jù)上圖數(shù)據(jù)進(jìn)一步分析PSNR與SSIM,我們發(fā)現(xiàn)即使在有些場(chǎng)景下SSIM并不準(zhǔn)確,但處理同一個(gè)視頻源不同碼率編碼的相對(duì)質(zhì)量評(píng)價(jià)SSIM還是較為準(zhǔn)確的,而面對(duì)有不同視頻源的全局評(píng)價(jià)時(shí)PSNR與SSIM勢(shì)均力敵,準(zhǔn)確度相似;因此,我們可以對(duì)同一個(gè)視頻按照不同分辨率比較來(lái)分類(lèi)擬合提高評(píng)價(jià)準(zhǔn)確度,比如對(duì)于不同分辨率的視頻基于PSNR/SSIM估計(jì)質(zhì)量值的相關(guān)度只有0.89,而對(duì)于相同尺寸同類(lèi)型的視頻基于PSNR/SSIM估計(jì)質(zhì)量值其相關(guān)度可達(dá)到0.93~0.96。對(duì)于不同分辨率的視頻,集合越大其準(zhǔn)確度越低;而對(duì)于同一類(lèi)視頻其預(yù)測(cè)準(zhǔn)確度較高。

同樣,空間質(zhì)量分析也存在一個(gè)擬合模型,主要分為編碼質(zhì)量損失與下采樣質(zhì)量損失。上圖公式中 代表編碼質(zhì)量損失, 代表下采樣質(zhì)量損失,我們建議以下三種預(yù)測(cè)方法:方法一是直接通過(guò)QP預(yù)測(cè),這是幾乎沒(méi)有任何代價(jià)的方法;方法二是通過(guò)PSNR預(yù)測(cè),此方法計(jì)算量較大,一般會(huì)采取10幀取1幀或一秒一幀的方式預(yù)測(cè);方法三是通過(guò)SSIM預(yù)測(cè),但這種方法的處理速度最為緩慢但精度最高。我們需要根據(jù)PSNR/SSIM MOS分曲線(xiàn)的走向選用不同的擬合公式,需要強(qiáng)調(diào)的是,方法一可直接在編碼或解碼端實(shí)現(xiàn),而方法二、三必須在編碼端完成計(jì)算后才能將得到的數(shù)據(jù)發(fā)送給解碼端,單純解碼端無(wú)法實(shí)現(xiàn)。

上圖較為清晰地展示了H.264下QP與PSNR的關(guān)系,可以看到QP與視頻空間質(zhì)量呈現(xiàn)明顯的線(xiàn)性負(fù)相關(guān)關(guān)系,QP越大視頻空間質(zhì)量越低。

2)SVM建模

與時(shí)間質(zhì)量分析的思路類(lèi)似,我們也可以借助SVM建模優(yōu)化空間質(zhì)量分析。

在分別得到空間模式與時(shí)間模式對(duì)應(yīng)的MOS分后,我們就可計(jì)算總的MOS分。這里的a、b兩個(gè)參數(shù)可以根據(jù)應(yīng)用場(chǎng)景需求做出一些變化:如果此應(yīng)用場(chǎng)景對(duì)流暢度要求較高那么我們就可以適當(dāng)增大a的值(權(quán)重),如果此應(yīng)用場(chǎng)景對(duì)清晰度要求更高則適當(dāng)增大b的值(權(quán)重)。

2.3 現(xiàn)網(wǎng)與實(shí)驗(yàn)室應(yīng)用

將此分析工具運(yùn)用于現(xiàn)網(wǎng)的實(shí)時(shí)通話(huà)質(zhì)量統(tǒng)計(jì),我們可以看到隨著版本的升級(jí),計(jì)算得到的MOS分也在增加,反應(yīng)出版本迭代帶來(lái)的實(shí)時(shí)視頻通話(huà)質(zhì)量的提升或下降。

將此分析工具運(yùn)用于實(shí)驗(yàn)室等理想環(huán)境,根據(jù)上圖左側(cè)表格展示的自動(dòng)化測(cè)試統(tǒng)計(jì)結(jié)果我們可以看到,設(shè)置網(wǎng)絡(luò)條件千變?nèi)f化(延時(shí)30毫秒,抖動(dòng)10毫秒等等),系統(tǒng)能較為準(zhǔn)確且自動(dòng)計(jì)算出相應(yīng)MOS分。右側(cè)展示的就是與此實(shí)驗(yàn)相關(guān)的拓?fù)浣Y(jié)構(gòu),其中NetEM代表網(wǎng)絡(luò)模擬器。

2.4 CEV缺點(diǎn)

當(dāng)然,CEV也存在一定局限性。首先就是非端對(duì)端的,CEV現(xiàn)在僅能作為我們內(nèi)部的測(cè)試方案而未實(shí)現(xiàn)端對(duì)端,這就導(dǎo)致我們無(wú)法用此方法評(píng)估對(duì)比微信、FaceTime等第三方應(yīng)用場(chǎng)景的實(shí)時(shí)視頻質(zhì)量。其次就是由于CEV依賴(lài)編碼器,面對(duì)不同編碼器(如VP8、VP9在QP取值范圍上存在不一致)需要重新訓(xùn)練并調(diào)整參數(shù),由此造成的工作量無(wú)疑是巨大的。

2.5 端到端MOS評(píng)分

那么我們?nèi)绾螌?shí)現(xiàn)實(shí)時(shí)視頻的端到端MOS評(píng)分,達(dá)成對(duì)第三方平臺(tái)的評(píng)估與對(duì)比?下一步的計(jì)劃就是使用“增強(qiáng)版“的VMAF。所謂增強(qiáng)版就是,VMAF存在原始參考視頻與目標(biāo)視頻對(duì)齊的要求,那么我們可通過(guò)在輸入VMAF之前進(jìn)行對(duì)齊操作,從而實(shí)現(xiàn)實(shí)時(shí)視頻的端到端MOS評(píng)分。

PART2 根據(jù)質(zhì)量模型設(shè)計(jì)質(zhì)量甜點(diǎn)算法

1.動(dòng)機(jī)

在構(gòu)建CEV質(zhì)量評(píng)估模型后我們繼續(xù)探索,能否將此模型用于尋找基于感知編碼的視頻質(zhì)量甜點(diǎn)?之前的試驗(yàn)并不涉及編碼過(guò)程,那么我們能否更進(jìn)一步,將其用于優(yōu)化對(duì)編碼的使用?

從概念上來(lái)說(shuō)編碼也存在時(shí)間質(zhì)量與空間質(zhì)量。首先就空間質(zhì)量而言,在我們常見(jiàn)的質(zhì)量與碼率曲線(xiàn)上二者呈正相關(guān)關(guān)系且并非直線(xiàn),其曲線(xiàn)上存在三個(gè)值得我們關(guān)注的點(diǎn):第一個(gè)點(diǎn)是圖中的Lowest也就是質(zhì)量明顯下降的點(diǎn),表明在碼率超過(guò)此點(diǎn)瞬間視頻質(zhì)量會(huì)出現(xiàn)一陣快速衰減,我們將此點(diǎn)定義為保底碼率;第二個(gè)點(diǎn)位于圖中指示的Highest,表示在此點(diǎn)后視頻質(zhì)量幾乎不會(huì)隨碼率出現(xiàn)明顯提升;而中間的Enough點(diǎn)所示就是我們的建議碼率??紤]到不同分辨率與幀率的情況,(那我們把它再規(guī)劃到BPP,就是Bit Per Pixel,即每個(gè)像素壓縮以后,需要的占用的位數(shù)。)

在空間質(zhì)量指標(biāo)中影響編碼的主要有影響幀間參考的幀率與影響幀內(nèi)參考的分辨率。針對(duì)這種情況我們對(duì)幀率與分辨率進(jìn)行了調(diào)整:幀率的調(diào)整在于隨著幀率增高,維持同樣質(zhì)量需要增加的碼率就相應(yīng)降低且基本遵循測(cè)試得到的線(xiàn)性關(guān)系;分辨率的調(diào)整在于隨著分辨率的增高,維持同樣質(zhì)量所需碼率的也相應(yīng)降低。這兩點(diǎn)很容易理解:隨著分辨率的提升,幀內(nèi)參考信息越多壓縮率則增高;而在相同質(zhì)量下幀率越高,前后幀的相關(guān)性越強(qiáng),每幀的變化越小那么壓縮率也隨之增高,碼率的的提升與質(zhì)量的提升呈現(xiàn)log函數(shù)的關(guān)系特點(diǎn)。

2. 思路:規(guī)模法則

我們使用杰弗里·韋斯特法則明確規(guī)定規(guī)律,有些情景是線(xiàn)性,也有部分情景是超線(xiàn)性或亞線(xiàn)性的。

根據(jù)數(shù)據(jù)我們可得到分辨率與質(zhì)量的關(guān)系描述,但一般多為亞性關(guān)系。為了更好地研究相關(guān)參數(shù),我們提供了這樣一個(gè)公式:

應(yīng)用規(guī)模法則我們可以得到,公式中x的取值為1.5~3,x越大則編碼器越適合高分辨率。

3. Openh264編碼舉例

我們以O(shè)penh264編碼作為示例,由圖表我們可以看到隨著分辨率的提高維持相同質(zhì)量所需要的BPP不斷下降,這符合我們之前對(duì)這個(gè)法則規(guī)律的期待。

除了編碼空間質(zhì)量SMOS,我們還需要衡量編碼時(shí)間質(zhì)量TMOS。之前提到的無(wú)論是SMOS還是TMOS其本質(zhì)都是通過(guò)一些數(shù)據(jù)的訓(xùn)練擬合得到的數(shù)值,這里提到的編碼時(shí)間質(zhì)量也不例外,從曲線(xiàn)當(dāng)中我們可以看到當(dāng)幀率在7FPS以下時(shí)時(shí)間質(zhì)量已經(jīng)不符合我們的要求了。需要強(qiáng)調(diào)的是,無(wú)論是時(shí)間質(zhì)量還是空間質(zhì)量都是基于主觀感受確定的。一旦超過(guò)25FPS也就是人眼視覺(jué)暫留原理的閾值那么繼續(xù)提升幀率對(duì)質(zhì)量的影響微乎其微了。由于在這里我們不考慮丟包、延時(shí)等額外變量,時(shí)間質(zhì)量的問(wèn)題比較容易解決。

在得到了SMOS與TMOS之后,我們就可結(jié)合二者數(shù)值得到一個(gè)類(lèi)似于“立方體”的模型,其公式如圖所示,CEV由時(shí)間質(zhì)量與空間質(zhì)量共同決定。需要強(qiáng)調(diào)的是為保證質(zhì)量符合實(shí)際需求,這里存在一項(xiàng)約束條件:BPP須大于0.02且小于0.296。

仔細(xì)觀察不難看出CEV是一個(gè)凸函數(shù),如果可用帶寬確定,對(duì)方訂閱的視頻大小確定,那么我們需要得到最佳幀率是多少?我們對(duì)幀率求導(dǎo),得到上圖所示公式。若求導(dǎo)結(jié)果為0相當(dāng)于“立方體”體積最大化,此時(shí)就是最佳幀率。

對(duì)公式進(jìn)行簡(jiǎn)化與求導(dǎo)即可計(jì)算碼率值,再使用約束公式即可求解最終結(jié)果。

最終我們得到了由分辨率與幀率兩項(xiàng)變量組成的關(guān)系式,根據(jù)此公式可算出給定碼率下分辨率與幀率之間的關(guān)系,將其圖像畫(huà)出我們可以看到最頂端代表最佳值。這里需要解釋的是,在實(shí)際應(yīng)用中相同復(fù)雜度的視頻得出值可能較為近似,我們得到的是時(shí)間與空間復(fù)雜度的平均狀況。但是,若視頻復(fù)雜度較低則幀率可提高,反之幀率應(yīng)當(dāng)下降,這里需要根據(jù)復(fù)雜度做動(dòng)態(tài)調(diào)整,視頻復(fù)雜度可以以特定碼率下的量化參數(shù)來(lái)估計(jì),相同碼率下QP越大復(fù)雜度就越高。

繼續(xù)反向驗(yàn)證此模型,讓五位參與者對(duì)不同分辨率進(jìn)行測(cè)試,最終我們得到的相關(guān)系數(shù)為0.87,結(jié)果符合我們的預(yù)期,可以說(shuō)我們成功將視頻通話(huà)質(zhì)量模型應(yīng)用到編碼參數(shù)的自動(dòng)化優(yōu)化。

通過(guò)CEV模型,我們可在實(shí)現(xiàn)評(píng)估實(shí)時(shí)視頻通訊質(zhì)量的同時(shí)確定視頻通訊的質(zhì)量甜點(diǎn),希望算法背后的思路能為大家?guī)?lái)幫助,謝謝。

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • Web
    Web
    +關(guān)注

    關(guān)注

    2

    文章

    1262

    瀏覽量

    69441
  • 模型
    +關(guān)注

    關(guān)注

    1

    文章

    3226

    瀏覽量

    48807

原文標(biāo)題:CEV模型與質(zhì)量甜點(diǎn)算法設(shè)計(jì)

文章出處:【微信號(hào):livevideostack,微信公眾號(hào):LiveVideoStack】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏

    評(píng)論

    相關(guān)推薦

    調(diào)制解調(diào)器和積分器算法程序的詳細(xì)資料概述

    本文的主要內(nèi)容介紹的是調(diào)制解調(diào)器和積分器算法程序的詳細(xì)資料概述
    發(fā)表于 04-28 10:20 ?11次下載
    調(diào)制解調(diào)器和積分器<b class='flag-5'>算法</b>程序的<b class='flag-5'>詳細(xì)資料</b><b class='flag-5'>概述</b>

    TMS320VC5509A PGE IBIS Model DSP IBIS行為模型詳細(xì)資料概述

    本文的主要內(nèi)容介紹的是TI的產(chǎn)品TMS320VC5509ADSP的IBIS行為模型詳細(xì)資料概述
    發(fā)表于 05-03 17:37 ?12次下載
    TMS320VC5509A PGE IBIS Model DSP IBIS行為<b class='flag-5'>模型</b>的<b class='flag-5'>詳細(xì)資料</b><b class='flag-5'>概述</b>

    TMS320VC5510 GGW IBIS Model DSP IBIS行為模型詳細(xì)資料概述

    本文檔介紹的主要內(nèi)容是TI的產(chǎn)品TMS320VC5510 GGW IBIS Model DSP IBIS行為模型詳細(xì)資料概述
    發(fā)表于 05-03 17:42 ?7次下載
    TMS320VC5510 GGW IBIS Model DSP IBIS行為<b class='flag-5'>模型</b>的<b class='flag-5'>詳細(xì)資料</b><b class='flag-5'>概述</b>

    C5515ZCH圖像信息系統(tǒng)IBIS模型詳細(xì)資料概述

    本文的主要內(nèi)容介紹的是TI的產(chǎn)品C5515ZCH圖像信息系統(tǒng)的IBIS模型詳細(xì)資料概述
    發(fā)表于 05-04 16:24 ?4次下載
    C5515ZCH圖像信息系統(tǒng)IBIS<b class='flag-5'>模型</b>的<b class='flag-5'>詳細(xì)資料</b><b class='flag-5'>概述</b>

    C5535 ZHH邊界掃描模型詳細(xì)資料概述

    本文的主要內(nèi)容介紹的是TI的產(chǎn)品C5535 ZHH的邊界掃描模型詳細(xì)資料概述
    發(fā)表于 05-04 16:35 ?4次下載
    C5535 ZHH邊界掃描<b class='flag-5'>模型</b><b class='flag-5'>詳細(xì)資料</b><b class='flag-5'>概述</b>

    TMS320C5501 GZZ IBIS ModelDSP行為模型詳細(xì)資料概述

    本文的主要內(nèi)容介紹的是TI的產(chǎn)品TMS320C5501 GZZ IBIS ModelDSP的行為模型詳細(xì)資料概述
    發(fā)表于 05-04 16:41 ?14次下載
    TMS320C5501 GZZ IBIS ModelDSP行為<b class='flag-5'>模型</b>的<b class='flag-5'>詳細(xì)資料</b><b class='flag-5'>概述</b>

    TMS320C5504 ZCH IBIS Model DSP行為模型詳細(xì)資料概述

    本文檔的主要內(nèi)容介紹的是TI的產(chǎn)品TMS320C5504 ZCH IBIS Model DSP的行為模型詳細(xì)資料概述
    發(fā)表于 05-04 16:52 ?9次下載
    TMS320C5504 ZCH IBIS Model DSP行為<b class='flag-5'>模型</b>的<b class='flag-5'>詳細(xì)資料</b><b class='flag-5'>概述</b>

    TMS320VC5507 GHH BSDL Model DSP邊界掃描模型詳細(xì)資料概述

    本文檔的主要內(nèi)容介紹的是TI的產(chǎn)品TMS320VC5507 GHH BSDL Model DSP的邊界掃描模型詳細(xì)資料概述
    發(fā)表于 05-04 16:58 ?17次下載
    TMS320VC5507 GHH BSDL Model DSP邊界掃描<b class='flag-5'>模型</b>的<b class='flag-5'>詳細(xì)資料</b><b class='flag-5'>概述</b>

    TMS320C5515 ZCH BSDL Model DSP邊界掃描模型詳細(xì)資料概述

    本文檔的主要內(nèi)容介紹的是TI的產(chǎn)品TMS320C5515 ZCH BSDL Model DSP的邊界掃描模型詳細(xì)資料概述
    發(fā)表于 05-04 17:05 ?12次下載
    TMS320C5515 ZCH BSDL Model DSP邊界掃描<b class='flag-5'>模型</b>的<b class='flag-5'>詳細(xì)資料</b><b class='flag-5'>概述</b>

    TMS320VC5504 ZCH 邊界掃描模型詳細(xì)資料概述

    本文檔的主要內(nèi)容介紹的是TI的產(chǎn)品VC5504 ZCH 的邊界掃描模型詳細(xì)資料概述
    發(fā)表于 05-04 17:10 ?11次下載
    TMS320VC5504 ZCH 邊界掃描<b class='flag-5'>模型</b>的<b class='flag-5'>詳細(xì)資料</b><b class='flag-5'>概述</b>

    TMS320VC5505 ZCH 邊界掃描模型詳細(xì)資料概述

    本文檔的主要內(nèi)容介紹是TI的產(chǎn)品TMS320VC5505 ZCH的邊界掃描模型詳細(xì)資料概述
    發(fā)表于 05-04 17:14 ?5次下載
    TMS320VC5505 ZCH 邊界掃描<b class='flag-5'>模型</b>的<b class='flag-5'>詳細(xì)資料</b><b class='flag-5'>概述</b>

    TI的基于DSP兼容的第三方算法協(xié)議的詳細(xì)資料概述

    本文的主要內(nèi)容介紹的是TI的基于DSP兼容的第三方算法協(xié)議的詳細(xì)資料概述
    發(fā)表于 05-07 17:04 ?8次下載
    TI的基于DSP兼容的第三方<b class='flag-5'>算法</b>協(xié)議的<b class='flag-5'>詳細(xì)資料</b><b class='flag-5'>概述</b>

    PID程序算法詳細(xì)資料概述免費(fèi)下載

    本文檔的主要內(nèi)容詳細(xì)介紹的是PID程序算法詳細(xì)資料概述免費(fèi)下載
    發(fā)表于 07-24 08:00 ?36次下載

    python的內(nèi)置函數(shù)詳細(xì)資料概述

    本文檔的主要內(nèi)容詳細(xì)介紹的是python的內(nèi)置函數(shù)詳細(xì)資料概述
    發(fā)表于 11-18 08:00 ?0次下載

    EMC HF墊圈的詳細(xì)資料概述

    本文檔的主要內(nèi)容詳細(xì)介紹的是EMC HF墊圈的詳細(xì)資料概述免費(fèi)下載。
    發(fā)表于 09-07 08:00 ?0次下載
    EMC HF墊圈的<b class='flag-5'>詳細(xì)資料</b><b class='flag-5'>概述</b>
    RM新时代网站-首页