摘要:車牌識(shí)別作為現(xiàn)代化智能交通系統(tǒng)中重要的環(huán)節(jié)，對(duì)提升路網(wǎng)效率以及緩解城市交通壓力等問(wèn)題具有重要的社會(huì)意義，然而弱光照車牌圖像識(shí)別仍然具有重大的挑戰(zhàn)。構(gòu)建了一個(gè)基于差分卷積神經(jīng)網(wǎng)絡(luò)的弱光照車牌圖像增強(qiáng)網(wǎng)絡(luò)，將車牌的紋理信息解耦為水平垂直和對(duì)角線兩個(gè)方向，對(duì)不同尺度空間的低照度圖像進(jìn)行紋理增強(qiáng)。為了避免增強(qiáng)結(jié)果局部過(guò)曝或低曝，該方法使用YCbCr顏色空間的損失函數(shù)來(lái)優(yōu)化模型。

圖像增強(qiáng)實(shí)驗(yàn)結(jié)果表明，所提出的方法較傳統(tǒng)的低照度圖像增強(qiáng)方法相比，圖像客觀質(zhì)量結(jié)果峰值信噪比提升了0.47 dB。同時(shí)，在仿真車牌和真實(shí)場(chǎng)景的車牌識(shí)別實(shí)驗(yàn)結(jié)果也證明了所提算法對(duì)于低照度圖像感知質(zhì)量提升的有效性。

引言

隨著現(xiàn)代化進(jìn)程的推進(jìn)，中國(guó)的汽車數(shù)量大幅增加，相關(guān)的社會(huì)問(wèn)題也日益突出，如交通阻塞、交通安全事故、能源消耗以及尾氣造成的環(huán)境污染等，因此面向城市公共交通規(guī)劃和管理的現(xiàn)代化智能交通系統(tǒng)應(yīng)運(yùn)而生。通過(guò)基于人工智能的算法對(duì)攝像頭等采集設(shè)備獲取的車輛圖像進(jìn)行拍照，并進(jìn)行車牌和型號(hào)等信息識(shí)別，應(yīng)用于車輛監(jiān)控和電子警察等場(chǎng)景，實(shí)現(xiàn)對(duì)車輛的智能化管理，有效提升路網(wǎng)的效率，減少車輛尾氣排放，實(shí)現(xiàn)對(duì)行人、車輛、道路和外部環(huán)境等四大交通因素進(jìn)行合理規(guī)劃。

車牌識(shí)別技術(shù)是智能交通系統(tǒng)中最基礎(chǔ)也是最關(guān)鍵的技術(shù)之一，通過(guò)對(duì)車輛的車牌進(jìn)行監(jiān)管進(jìn)而實(shí)現(xiàn)對(duì)汽車的監(jiān)管，該技術(shù)也是近年來(lái)的研究熱點(diǎn)之一。然而中國(guó)的車牌主要由代表省份縮寫(xiě)的中文、字母和數(shù)字組成，同時(shí)存在雙車牌和三車牌，相較于只由圖像和數(shù)字組成的車牌識(shí)別難度更高。且實(shí)際的車輛圖像采集場(chǎng)景較為復(fù)雜，如夜間或惡劣天氣下光線不足，圖像無(wú)法正常曝光，導(dǎo)致圖像中字符模糊難以精準(zhǔn)識(shí)別，即低照度/弱光照?qǐng)D像場(chǎng)景，真實(shí)成像場(chǎng)景下的弱光照車牌圖像如圖1所示，人眼亦無(wú)法準(zhǔn)確識(shí)別車牌中的字符。

圖1弱光照車牌圖像

圖像增強(qiáng)技術(shù)能通過(guò)一種或者多種數(shù)據(jù)增強(qiáng)的方式來(lái)調(diào)整圖像的整體或局部特征[1]，進(jìn)而實(shí)現(xiàn)圖像的顏色、亮度、對(duì)比度和飽和度等增強(qiáng)，提升圖像的視覺(jué)質(zhì)量。早期的低照度圖像增強(qiáng)方法主要分為基于直方圖均衡化的方法和基于Retinex理論的方法兩大類[2]。前者通過(guò)使用不同的先驗(yàn)約束信息來(lái)提升圖像的對(duì)比度，如上下文信息[3]、差分信息[4]，但無(wú)法有效去除圖像噪聲。后者模擬了人眼成像原理，提出圖像由不受光照影像的反射分量和代表像素動(dòng)態(tài)范圍的照明分量組成假設(shè)，在保持反射分量不變的前提下增強(qiáng)照明分量，反推重建圖像，實(shí)現(xiàn)低照度圖像的增強(qiáng)，包括單一尺度Retinex[5]和多尺度Retinex[6-7]等框架。

近年來(lái)，隨著硬件設(shè)備以及深度學(xué)習(xí)理論的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)憑借其強(qiáng)大的特征提取能力，在諸如動(dòng)作檢測(cè)[8-9]、圖像融合[10]和目標(biāo)檢測(cè)[11]等圖像視覺(jué)任務(wù)中取得了卓越的性能。考慮到高性能的深度學(xué)習(xí)模型依賴于大量訓(xùn)練樣本，Lore等[12]提出了低照度圖像成像模型生成模擬數(shù)據(jù)，即低照度圖像由伽馬變換和圖像噪聲兩部分組成，并首次將卷積神經(jīng)網(wǎng)絡(luò)引入到低照度圖像增強(qiáng)任務(wù)中，通過(guò)構(gòu)建堆疊稀疏自編碼網(wǎng)絡(luò)，對(duì)低照度圖像進(jìn)行增強(qiáng)和去噪，算法性能較傳統(tǒng)算法提升顯著。Wei等[13]基于Retinex理論構(gòu)建了分解-修正卷積神經(jīng)網(wǎng)絡(luò)，通過(guò)分解網(wǎng)絡(luò)將圖像分解為光照分量和反射分量，并使用修正網(wǎng)絡(luò)對(duì)光照分量進(jìn)行修正，再與反射分量重建得到增強(qiáng)后的圖像。Lü等[14]提出了多分支網(wǎng)絡(luò)結(jié)構(gòu)，分別從圖像的背景、結(jié)構(gòu)和區(qū)域信息層面進(jìn)行優(yōu)化，進(jìn)而提升重建圖像質(zhì)量。Ren等[15]構(gòu)建了內(nèi)容和邊緣兩個(gè)分支，分別學(xué)習(xí)低光照?qǐng)D像的內(nèi)容和顯著性結(jié)構(gòu)，使用感知損失優(yōu)化生成令人愉悅的細(xì)節(jié)。Jiang等[16]首次將生成對(duì)抗網(wǎng)絡(luò)引入到非成對(duì)的低照度圖像增強(qiáng)任務(wù)中，通過(guò)構(gòu)建全局-局部判決網(wǎng)絡(luò)，確保生成網(wǎng)絡(luò)生成更加真實(shí)的自然光，避免結(jié)果中出現(xiàn)局部過(guò)曝或低曝現(xiàn)象。

不同于通用的低照度圖像，車牌圖像由深色背景和字符組成，為了服務(wù)于后續(xù)車牌識(shí)別的感知應(yīng)用，低照度車牌圖像增強(qiáng)任務(wù)應(yīng)在光照恢復(fù)的基礎(chǔ)上增強(qiáng)字符的邊緣信息。本文以低照度的車牌圖像為研究對(duì)象，提出了一種基于差分卷積神經(jīng)網(wǎng)絡(luò)的車牌圖像增強(qiáng)算法。與主流的圖像增強(qiáng)方法進(jìn)行比較，在合成數(shù)據(jù)試驗(yàn)中的主客觀結(jié)果均證明了所提方法的有效性，同時(shí)在真實(shí)的低照度增強(qiáng)車牌識(shí)別實(shí)驗(yàn)中也證明了該算法的魯棒性和泛化性。

差分卷積神經(jīng)網(wǎng)絡(luò)

局部二值模式是一種傳統(tǒng)的手工特征提取算子，其原理為以局部某一像素為閾值，將鄰域像素與該像素進(jìn)行差分比較，進(jìn)而反映出細(xì)膩度的區(qū)域紋理信息，且該特征具有一定的魯棒性。Yu等[17]基于此思想提出了中心差分卷積應(yīng)用于人臉活體檢測(cè)應(yīng)用中，通過(guò)圖像的梯度來(lái)反映目標(biāo)本質(zhì)的細(xì)節(jié)信息。相較于普通的卷積模塊，差分特征具有更強(qiáng)的光照不變性以及細(xì)粒度。對(duì)于3×3的鄰域空間,差分卷積公式如下：

式中，y為輸出特征；x為輸入特征；表示當(dāng)前的空間位置；表示鄰域空間中其他的位置。

車牌圖像中的紋理信息相對(duì)簡(jiǎn)單，而中心差分卷積的計(jì)算涉及了所有領(lǐng)域，因此存在較大的信息冗余。為了更好地優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)與效率，本文使用交叉的差分卷積模塊，將差分信息解耦為水平垂直方向和對(duì)角線方向，結(jié)構(gòu)如圖2所示。其中，水平垂直方向的算子由中心像素點(diǎn)的相鄰點(diǎn)組成，對(duì)角線方向的算子則由鄰域空間中與中心像素點(diǎn)不相鄰的點(diǎn)組成。隨后，不同方向的差分信息以連接的形式進(jìn)行特征融合。

圖2差分卷積

基于差分卷積的增強(qiáng)網(wǎng)絡(luò)

本文提出的基于差分卷積的增強(qiáng)網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，該模型網(wǎng)絡(luò)由編碼網(wǎng)絡(luò)和解碼組成。對(duì)于訓(xùn)練車牌圖像對(duì){},網(wǎng)絡(luò)目標(biāo)生成增強(qiáng)車牌圖像，其中為低照度圖像，為原始真值圖像。低照度圖像經(jīng)由半實(shí)例歸一化模塊（half instance normalization，HIN）進(jìn)行淺層特征提取，隨后輸入由兩個(gè)具有下采樣功能的差分卷積模塊組成的編碼網(wǎng)絡(luò)中，且所有的卷積核大小均為3×3×64。經(jīng)過(guò)上述操作，輸出的特征分辨率降低了4倍。為進(jìn)一步提取深度特征，下采樣后的特征被輸入至殘差通道注意力機(jī)制模塊（residual channel attention block,RCAB）中，網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖3基于差分卷積的圖像增強(qiáng)網(wǎng)絡(luò)

圖4通道注意力機(jī)制模塊

不同于傳統(tǒng)的殘差模塊[18]，半實(shí)例歸一化模塊使用3×3的卷積對(duì)輸入特征進(jìn)行中間特征提取，隨后將中間特征劃分為均等的兩個(gè)部分。一部分使用實(shí)例歸一化方法進(jìn)行歸一化處理，此操作不僅可以加速模型的收斂，還能保證不同特征之間的獨(dú)立性以及更多的尺度信息，而另一部分則不進(jìn)行任何操作以保持內(nèi)容信息，直接與歸一化的特征沿通道維度進(jìn)行連接。然后使用3×3的卷積提取殘差特征與輸入特征的跳躍特征（經(jīng)由1×1的卷積處理）相加得到最終輸出圖像特征。

普通卷積操作對(duì)于所有的特征通道和像素點(diǎn)賦予相同的權(quán)重，為了讓特征集中于感興趣的區(qū)域，本文使用了通道注意力機(jī)制模塊，通過(guò)全局池化層對(duì)圖像特征壓縮，并使用Sigmoid函數(shù)對(duì)注意力機(jī)制權(quán)重歸一化到0~1，并將特征圖與輸入特征相乘，實(shí)現(xiàn)通道層的特征縮放。

解碼網(wǎng)絡(luò)則由具有上采樣功能的卷積組成，且所有的卷積核大小均為3×3×64。為了避免網(wǎng)絡(luò)中信息的傳輸損失，編碼網(wǎng)絡(luò)和解碼網(wǎng)絡(luò)的多尺度特征直接進(jìn)行跳躍連接，實(shí)現(xiàn)多尺度淺層特征和多尺度語(yǔ)義特征融合，從而盡可能恢復(fù)出車牌中的特征細(xì)節(jié)信息。

為了優(yōu)化提出的深度學(xué)習(xí)模型，本文使用像素域、亮度域和結(jié)構(gòu)域聯(lián)合損失函數(shù)，總體的損失函數(shù)公式如下：

式中，為結(jié)構(gòu)相似性（structural similarity,SSIM）損失函數(shù)；、和為不同損失函數(shù)項(xiàng)之間的平衡參數(shù)，且==1，=0.001。不同于RGB顏色空間,表示將圖像從RGB顏色空間轉(zhuǎn)換到Y(jié)CbCr顏色空間，并在亮度分量進(jìn)行監(jiān)督學(xué)習(xí)，促進(jìn)亮度增強(qiáng)結(jié)果亮度更加自然。

實(shí)驗(yàn)

4.1數(shù)據(jù)集

在本文中，數(shù)據(jù)集的訓(xùn)練樣本包括高質(zhì)量藍(lán)底和黃底的合成車牌圖像各10 000張,數(shù)量共計(jì)20 000張，合成車牌分辨率為800×280像素。同時(shí)為了提升算法的數(shù)據(jù)魯棒性，合成數(shù)據(jù)并非完全對(duì)齊。本文使用的驗(yàn)證車牌數(shù)據(jù)集來(lái)自于真實(shí)場(chǎng)景監(jiān)控視頻低照度圖像，主要包括雙行7字符的車牌和單行車牌兩類數(shù)據(jù)，其中單行車牌由7字符組成的藍(lán)色普通機(jī)動(dòng)車車牌和8字符組成的綠色新能源汽車車牌。

真實(shí)數(shù)據(jù)集由于拍攝角度和距離的問(wèn)題，圖像質(zhì)量較合成數(shù)據(jù)差，主要由分辨率分別為96×32、96×48和96×64像素的圖像組成?？紤]到真實(shí)場(chǎng)景圖像缺乏原始圖像，為了定量評(píng)估圖像增強(qiáng)算法的客觀性能，使用200張合成車牌圖像作為測(cè)試數(shù)據(jù)集，其中藍(lán)底和黃底各100張，測(cè)試圖像均被歸一化到96×48像素大小以模擬真實(shí)的拍攝場(chǎng)景。本文使用峰值信噪比（peak signal-to-noise ratio,PSNR）、SSIM和特征相似性（feature similarity，F(xiàn)SIM）來(lái)定量評(píng)估重建圖像的客觀結(jié)果。

為了增加低照度數(shù)據(jù)樣本數(shù)量，本文使用合成的車牌圖像作為真值，將圖像從RGB顏色空間轉(zhuǎn)換到Y(jié)CbCr顏色空間，通過(guò)伽馬變換對(duì)Y顏色通道的像素進(jìn)行非線性變化得到，隨后還原至RGB顏色空間，上述過(guò)程可以表示為：

式中,A為常數(shù)；指數(shù)為隨機(jī)圖像對(duì)比度控制參數(shù)，本文中取值范圍為[2,5]。生成的弱光照?qǐng)D像如圖5所示。

圖5生成的弱光照?qǐng)D像效果圖

4.2實(shí)現(xiàn)細(xì)節(jié)

本文的低照度增強(qiáng)方法均基于PyTorch框架，同時(shí)采用自適應(yīng)矩估計(jì)（adaptive moment estimation,Adam）對(duì)模型進(jìn)行優(yōu)化，超參數(shù)設(shè)置為=0.9，=0.999，訓(xùn)練的批尺寸為16，初始學(xué)習(xí)率設(shè)置為1×10－4。模型的總迭代數(shù)設(shè)置為1 000個(gè)周期，學(xué)習(xí)率在第500個(gè)周期衰減為1×10－5。所有算法均運(yùn)行于兩張顯存為12 GB的NVIDIA 2080ti，Intel（R）Core（TM）i7-7820X CPU@3.60 GHz，軟件配置為CUDA 10.2，CUDNN 7.5的Ubuntu 18.04服務(wù)器。圖像隨機(jī)裁剪41×41大小的圖像塊用于模型訓(xùn)練。

4.3圖像增強(qiáng)實(shí)驗(yàn)結(jié)果

為了直觀地評(píng)估圖像增強(qiáng)結(jié)果，使用PSNR、SSIM和FSIM分別從像素、結(jié)構(gòu)和特征三個(gè)層面進(jìn)行定量分析，并與幾種具有代表性的基于深度學(xué)習(xí)圖像增強(qiáng)和圖像修復(fù)方法進(jìn)行對(duì)比，包括LLCNN[19]、RDN[20]和SCI[21]，結(jié)果如表1所示。可以看出，本文方法取得了最優(yōu)的PSNR、SSIM和FSIM結(jié)果，相較于SCI[21]方法,客觀結(jié)果分別提升0.47 dB、0.000 1、0.000 8，表明了本文方法的有效性。

表1低照度圖像增強(qiáng)網(wǎng)絡(luò)的實(shí)驗(yàn)結(jié)果對(duì)比

為了進(jìn)一步驗(yàn)證算法的性能，圖6展示了不同算法的低照度圖像增強(qiáng)主觀結(jié)果圖。從圖6可以看出，所有方法都能較好地恢復(fù)出車牌圖像的背景顏色，但本文方法能重建出更令人愉悅的視覺(jué)效果以及更清晰的字符紋理信息，如第一行車牌中的“渝A”和第二行車牌中的“8”，這也說(shuō)明本文使用的差分卷積對(duì)于圖像紋理信息恢復(fù)的有效性。

圖6低照度增強(qiáng)結(jié)果圖

車牌處理應(yīng)用任務(wù)對(duì)于模型和運(yùn)行時(shí)間要求較高，本文方法在輸入96×48像素大小的車牌圖像時(shí)，使用NVIDIA 2080ti，算法的測(cè)試時(shí)間為0.009 4 s，滿足實(shí)時(shí)視頻處理對(duì)于幀數(shù)的要求。

4.4車牌識(shí)別實(shí)驗(yàn)結(jié)果

§3.3從定量和定性兩個(gè)角度驗(yàn)證了本文方法在圖像照度增強(qiáng)任務(wù)的有效性，本節(jié)使用由卷積遞歸神經(jīng)網(wǎng)絡(luò)組成的飛槳PaddleHub中文字符識(shí)別網(wǎng)絡(luò)，通過(guò)車牌識(shí)別任務(wù)進(jìn)一步驗(yàn)證低照度增強(qiáng)對(duì)于車牌感知質(zhì)量的提升。

表2為圖像增強(qiáng)前后測(cè)試數(shù)據(jù)集下的車牌識(shí)別率結(jié)果，其中準(zhǔn)確率為正確識(shí)別車牌數(shù)量與總車牌數(shù)量（共200張）之比。由表2中可知,增強(qiáng)后的車牌圖像相較于低照度車牌圖像的文字識(shí)別率提升了6%，這進(jìn)一步證明本文方法對(duì)于圖像感知質(zhì)量的提升。

表2圖像增強(qiáng)對(duì)車牌識(shí)別準(zhǔn)確率的影響

為進(jìn)一步對(duì)識(shí)別進(jìn)行定性分析并探究數(shù)據(jù)的魯棒性，表3展示了PaddleHub對(duì)于車牌識(shí)別結(jié)果，其中圖片結(jié)果為合成車牌數(shù)據(jù)，預(yù)測(cè)結(jié)果為真實(shí)場(chǎng)景的車牌數(shù)據(jù)。代表省份縮寫(xiě)的漢字相較于數(shù)字和英文字母更為復(fù)雜，如鄂、粵和藏等,這也導(dǎo)致低照度圖像中的漢字更容易錯(cuò)分為其他字符，如“川”被錯(cuò)識(shí)別為“H”,“鄂”被錯(cuò)識(shí)別為“U”。置信度越大，表示預(yù)測(cè)的結(jié)果更可信，從表3中結(jié)果可以發(fā)現(xiàn),低照度圖像的預(yù)測(cè)結(jié)果均獲得較大的置信度，這也說(shuō)明低照度字符中具有判決性的特征被污染，導(dǎo)致錯(cuò)分時(shí)置信度仍然較大。而增強(qiáng)后的圖像亮度顯著提升，無(wú)論是合成數(shù)據(jù)還是真實(shí)數(shù)據(jù)集，識(shí)別結(jié)果都更為準(zhǔn)確，這也意味著圖像感知質(zhì)量顯著提升，證明了本文提出的低照度增強(qiáng)網(wǎng)絡(luò)的有效性。

表3車牌識(shí)別結(jié)果

結(jié)語(yǔ)

車牌識(shí)別是智慧交通系統(tǒng)中的一個(gè)關(guān)鍵技術(shù)點(diǎn)，本文針對(duì)低照度環(huán)境下車牌識(shí)別難度較大的問(wèn)題，提出了一種基于差分卷積神經(jīng)網(wǎng)絡(luò)的低照度車牌圖像增強(qiáng)網(wǎng)絡(luò)。采用差分卷積將圖像中的差分信息解耦為水平垂直和對(duì)角線兩個(gè)方向，實(shí)現(xiàn)高效的邊緣信息提取。同時(shí)在通道注意力機(jī)制模塊和多尺度框架中引入半實(shí)例歸一化模塊，提升模塊的特征表達(dá)能力。

實(shí)驗(yàn)從主觀、客觀和感知質(zhì)量3個(gè)層面證明了本文方法在低照度車牌圖像增強(qiáng)任務(wù)中的有效性。未來(lái)希望面向更復(fù)雜的低照度交通場(chǎng)景，如運(yùn)動(dòng)模糊和噪聲，提出更具魯棒性和泛化能力的圖像修復(fù)模型。