摘要：

基于膚色與人臉運(yùn)動(dòng)相結(jié)合的自動(dòng)表情，對(duì)其識(shí)別算法進(jìn)行研究。通過(guò)RGB將圖像轉(zhuǎn)為YIQ顏色空間，在YIQ中第I維中進(jìn)行圖像數(shù)據(jù)的提取，在二值圖像中將背景和膚色分割出來(lái)。采用Pareto優(yōu)化算法進(jìn)行人臉表情特征的選取，算法計(jì)算量少，構(gòu)結(jié)簡(jiǎn)單，運(yùn)行速度快，能對(duì)小角度人臉膚色、人臉面部表情變化、人臉旋轉(zhuǎn)、人臉面部存在遮擋物等情況準(zhǔn)確檢測(cè)和跟蹤。實(shí)驗(yàn)表明，對(duì)于人臉小角度轉(zhuǎn)動(dòng)，該算法能較好適應(yīng)；對(duì)于人眼的狀態(tài)，該算法不受影響；對(duì)于豐富的面部表情變化和不同的膚色均能更好地適應(yīng)，具有一定的穩(wěn)定性。

0 引言

近年來(lái)，隨著計(jì)算機(jī)技術(shù)的日益提高，人臉實(shí)時(shí)識(shí)別系統(tǒng)發(fā)展很快，一般被廣泛運(yùn)用在監(jiān)管、檢索等相關(guān)領(lǐng)域[1]。但在現(xiàn)階段，人臉識(shí)別技術(shù)依舊存在缺陷，在實(shí)際應(yīng)用方面受到一定的限制。在人臉識(shí)別系統(tǒng)中，人臉檢測(cè)屬于重要的組成部分，因此檢測(cè)部分具有非常關(guān)鍵的作用，人臉檢測(cè)系統(tǒng)的檢測(cè)算法非常多，可以歸納為兩大類：第一類檢測(cè)算法是基于像素特征，而像素特征包括輪廓、膚色等；第二類檢測(cè)算法是基于生物特征，生物特征包括圖像中像素間的微觀特征，包括像素的特征矩陣、均值等，相應(yīng)算法包括神經(jīng)網(wǎng)絡(luò)、Ada Boost等[2]。

人臉膚色與運(yùn)動(dòng)識(shí)別指的是在圖像序列中，對(duì)某個(gè)人臉的膚色信息、大小變化、運(yùn)動(dòng)軌跡的過(guò)程進(jìn)行確定[3]?；谶\(yùn)動(dòng)信息、膚色信息的方法具有較快的實(shí)現(xiàn)速度，但膚色信息要求的背景顏色分布較嚴(yán)格，誤識(shí)現(xiàn)象較多，識(shí)別率較低，人臉運(yùn)動(dòng)信息在跟蹤精度上還需要進(jìn)一步提高[4]。因此將基于運(yùn)動(dòng)信息和基于膚色信息的檢測(cè)識(shí)別方法結(jié)合起來(lái)，提高人臉膚色與運(yùn)動(dòng)識(shí)別相結(jié)合的自動(dòng)表情識(shí)別算法的準(zhǔn)確性，可滿足實(shí)際應(yīng)用中的實(shí)時(shí)監(jiān)控要求[5]。本文主要基于膚色與人臉運(yùn)動(dòng)相結(jié)合的自動(dòng)表情，對(duì)其識(shí)別算法進(jìn)行了研究。

1 人臉膚色的提取

膚色是構(gòu)成人臉信息的要素，實(shí)際上，不同人的膚色表面上看起來(lái)都有一定的差別，但如果排除亮度等影響因素以后，膚色顯示出極高的聚類性，其色調(diào)基本一致[6]。在RGB顏色空間當(dāng)中，由于不存在特定亮度位數(shù)信息，因此膚色不具備良好的類聚性，在進(jìn)行膚色區(qū)域分割時(shí)具有較大難度。在YIQ顏色空間里，膚色具有較高的類聚性，但也只在該顏色空間的第I維空間中進(jìn)行類聚。這個(gè)現(xiàn)象說(shuō)明，膚色分割的算法計(jì)算量非常少，并且非常簡(jiǎn)單，能夠滿足實(shí)時(shí)監(jiān)測(cè)系統(tǒng)的速度要求。基于RGB顏色空間將圖像轉(zhuǎn)換到Y(jié)IQ顏色空間，轉(zhuǎn)換公式為：

膚色的提取過(guò)程分為3步：利用式(1)把圖像從RGB顏色空間轉(zhuǎn)換到Y(jié)IQ顏色空間；在YIQ中的第I維空間中提取圖像數(shù)據(jù)信息；設(shè)定合適的閾值分割出二值圖像中的背景、膚色。

2 人臉表情特征選取

2.1 基于GA算法的人臉表情特征選取

遺傳算法的主要思想是達(dá)爾文生物進(jìn)化論，通過(guò)對(duì)自然中生物進(jìn)化過(guò)程的模擬，進(jìn)行最優(yōu)值的迭代搜索，目前常用的GA算法就是簡(jiǎn)單遺傳算法，即SGA。遺傳算法是指通過(guò)迭代方法，對(duì)一個(gè)目標(biāo)問(wèn)題，搜索得到能夠解決該問(wèn)題的最優(yōu)解。在對(duì)目標(biāo)問(wèn)題進(jìn)行種群初始化過(guò)程中，可以基于該種群的基因編碼得到其個(gè)體?？偟膩?lái)說(shuō)，種群個(gè)體實(shí)際上屬于實(shí)體，而這部分實(shí)體都帶有染色體特征。染色體承載著遺傳物質(zhì)，是由很多基因共同組成的，因此也是通過(guò)某種基因組合表現(xiàn)出來(lái)的，個(gè)體的外部表現(xiàn)則由該基因組合所決定。在染色體中，頭發(fā)顏色由某種基因組合決定。因而，對(duì)基因進(jìn)行編碼，即基因型通過(guò)外部映射表現(xiàn)出來(lái)。

2.2 基于改進(jìn)的Pareto優(yōu)化算法人臉表情特征選取

通過(guò)改進(jìn)的GA算法，經(jīng)過(guò)優(yōu)化得到解，采用Pareto優(yōu)化算法，對(duì)每個(gè)種群F(Sk)(k=1，2，…，n)的多目標(biāo)進(jìn)行優(yōu)化，得到最優(yōu)max F(Sk)，并通過(guò)式(2)得到解Sk：

式中，不同種類表情個(gè)數(shù)用l表示；Mi是通過(guò)GA從一類表情中得到的解，且Nw是解的個(gè)數(shù)；Mj是通過(guò)GA從不同類別中得到的解，且Nb是其對(duì)應(yīng)解的個(gè)數(shù)。

通過(guò)目標(biāo)函數(shù)(3)可看出，F(xiàn)2(Sk)對(duì)應(yīng)擴(kuò)大類間差距，F(xiàn)1(Sk)對(duì)應(yīng)縮小類間差距。圖1為基于GA和Pareto優(yōu)化算法的人臉的表情特征的選取。

2.3 基于隨機(jī)森林方法的人臉表情特征分類

在選出最優(yōu)特征后，將其進(jìn)行表情分類，表情包括恐懼、生氣、驚訝、高興等。根據(jù)隨機(jī)森林分類器方法，可將人臉表情分類的精度有效提高。隨機(jī)森林屬于一種組合分類器，實(shí)質(zhì)上是一個(gè)樹形分類器的集合。其中，基分類器為通過(guò)分類回歸樹算法構(gòu)建的無(wú)剪枝分類的決策樹，通過(guò)多數(shù)投票的簡(jiǎn)單法進(jìn)行其輸出結(jié)果的確定。Gini系數(shù)指標(biāo)在隨機(jī)森林算法中是分類回歸樹的分裂標(biāo)準(zhǔn)，其計(jì)算過(guò)程見式(4)：

式中，mtry表示每個(gè)節(jié)點(diǎn)的特征維數(shù)；Pi表示在樣本集S中出現(xiàn)的概率。

3 人臉表情識(shí)別方法

3.1 三維人臉形變模型

圖2為人臉顏色PCA模型，顏色系數(shù)的標(biāo)準(zhǔn)偏差設(shè)置為2。在第一個(gè)顏色模型中，模型主要是進(jìn)行全局膚色模型的改變，從黑色到白色。在第二個(gè)模型中，模型主要是進(jìn)行人臉性別特征的改變。第三個(gè)模型是進(jìn)行性別、膚色兩種的混合特征的改變。

3.2 基于雙眼的三維人臉姿態(tài)的預(yù)處理

人臉中的67個(gè)對(duì)齊點(diǎn)采用對(duì)齊算法SDM對(duì)齊。SDM中人臉的鼻子、眼睛、嘴角位置均可作為定位標(biāo)記點(diǎn)。SDM對(duì)一個(gè)目標(biāo)函數(shù)進(jìn)行了定義，對(duì)此目標(biāo)函數(shù)通過(guò)算法進(jìn)行最小化，用一個(gè)線性方法對(duì)這個(gè)問(wèn)題進(jìn)行求解是SDM的核心，見式(6)：

通過(guò)獲取的角度，采用仿射變換對(duì)臉的姿態(tài)進(jìn)行調(diào)整。仿射變換通過(guò)變換坐標(biāo)進(jìn)行，通過(guò)圖像變換，在圖片輸入后，將其坐標(biāo)映射到輸出圖片坐標(biāo)上。圖3為基于雙眼的人臉姿態(tài)預(yù)處理。

4 支持向量機(jī)算法在目標(biāo)跟蹤中的應(yīng)用

4.1 SVM核函數(shù)

在展開函數(shù)計(jì)算之前，要進(jìn)行事先確定變換環(huán)節(jié)，當(dāng)高維特征空間被輸入映射時(shí)，那么這個(gè)高維特征空間就需要構(gòu)造最優(yōu)分類面?，F(xiàn)階段，在核函數(shù)和參數(shù)的選取環(huán)節(jié)當(dāng)中，依舊采取人為選取的方式進(jìn)行，隨意性較大，穩(wěn)定性難以滿足。核函數(shù)指的是：設(shè)歐氏空間X為d維，該空間的一個(gè)點(diǎn)用x表示，x的模表示為||x||2=xTx，實(shí)數(shù)集用R表示。若一個(gè)函數(shù)K:x→R，存在一個(gè)函數(shù)k:[0，∞]→R，即K(x)=k(||x||2)，且k為非負(fù)值；當(dāng)k為非增的、分段連續(xù)時(shí)，滿足條件則核函數(shù)就是K(x)。

4.2 訓(xùn)練過(guò)程

應(yīng)用支持向量機(jī)跟蹤驗(yàn)證運(yùn)動(dòng)目標(biāo)，通常包括圖像分類和訓(xùn)練過(guò)程。在訓(xùn)練時(shí)，將已知分類結(jié)果的樣本圖像輸入，進(jìn)行圖像預(yù)處理，對(duì)于預(yù)處理后的圖像特征通過(guò)特征提取法進(jìn)行提取，并將其作為SVM學(xué)習(xí)器的輸入數(shù)據(jù)。對(duì)核函數(shù)及參數(shù)值進(jìn)行調(diào)整，優(yōu)化設(shè)置向量機(jī)中可能存在的維度和偏差等問(wèn)題，優(yōu)化分類器的選擇模式，最終實(shí)現(xiàn)輸入訓(xùn)練樣本的分類環(huán)節(jié)，分類器的精度顯著提高。

4.3 動(dòng)態(tài)人臉跟蹤的實(shí)現(xiàn)

針對(duì)k幀進(jìn)行研究時(shí)，所選擇的膚色模型主要為混合式，通過(guò)分割的方式將圖像的膚色進(jìn)行輸入，以模型規(guī)定為基礎(chǔ)，查看膚色閾值從而得到人臉候選區(qū)域；采取優(yōu)化過(guò)的Sobel算子邊緣檢測(cè)法檢測(cè)候選區(qū)域，并用SNOW分類器處理前面得到的結(jié)果，檢測(cè)人臉信息，最終得到人臉矩形區(qū)域；把第k-1幀的矩形區(qū)域與人臉矩形區(qū)域進(jìn)行比較，對(duì)于當(dāng)前幀人臉矩形區(qū)域的運(yùn)動(dòng)狀態(tài)，采用線性預(yù)測(cè)獲得；應(yīng)用FWT算法和Haar小波變換進(jìn)行該矩形區(qū)域圖像的增強(qiáng)處理，同時(shí)采用SVM分類器驗(yàn)證人臉信息。如果能夠檢測(cè)到相應(yīng)人臉信息，那么就可以將其作為人臉區(qū)域進(jìn)行標(biāo)注；如果檢測(cè)不到相應(yīng)的人臉信息，那就可以認(rèn)為目標(biāo)丟失，在允許的丟失時(shí)間范圍內(nèi)，跟蹤和檢測(cè)k+1幀。如果超過(guò)允許的丟失時(shí)間范圍，即可結(jié)束本次跟蹤，同時(shí)開始新一輪的人臉識(shí)別、跟蹤、檢測(cè)。

5 實(shí)驗(yàn)結(jié)果分析

以前文給出的算法流程為基礎(chǔ)，實(shí)現(xiàn)對(duì)人臉識(shí)別跟蹤的準(zhǔn)確定位和檢測(cè)，實(shí)現(xiàn)人臉膚色和人臉運(yùn)動(dòng)相結(jié)合的自動(dòng)表情定位。以QC288型攝像頭為圖像識(shí)別工具進(jìn)行采集，圖像均為640×480分辨率的真彩圖像，圖4為部分人臉跟蹤結(jié)果圖，其中圓形所標(biāo)注的內(nèi)容為圖像中的人臉目標(biāo)。通過(guò)本文的人臉膚色與人臉運(yùn)行相結(jié)合的自動(dòng)表情的檢測(cè)和跟蹤算法，對(duì)小角度人臉膚色、人臉面部表情變化、人臉旋轉(zhuǎn)、人臉面部存在遮擋物等情況準(zhǔn)確地進(jìn)行檢測(cè)和跟蹤。

6 結(jié)論

本文主要基于膚色與人臉運(yùn)動(dòng)相結(jié)合的自動(dòng)表情，對(duì)其識(shí)別算法進(jìn)行了研究。通過(guò)RGB將圖像轉(zhuǎn)為YIQ顏色空間，在YIQ中第I維中進(jìn)行圖像數(shù)據(jù)的提取，在二值圖像中將背景和膚色分割出來(lái)。采用Pareto優(yōu)化算法進(jìn)行人臉表情特征的選取，本算法計(jì)算量少，構(gòu)結(jié)簡(jiǎn)單，運(yùn)行速度快，能對(duì)小角度人臉膚色、人臉面部表情變化、人臉旋轉(zhuǎn)、人臉面部存在遮擋物等情況準(zhǔn)確檢測(cè)和跟蹤。實(shí)驗(yàn)表明，對(duì)于人臉小角度轉(zhuǎn)動(dòng)，本文算法能較好適應(yīng)：對(duì)于人眼的狀態(tài)，本算法不受影響；對(duì)于豐富的面部表情變化和不同的膚色均能更好地適應(yīng)，具有一定的穩(wěn)定性。