本人有過多年用FPGA做圖像處理的經(jīng)驗(yàn)，在此也談一下自己的看法。用FPGA做圖像處理最關(guān)鍵的一點(diǎn)優(yōu)勢(shì)就是：FPGA能進(jìn)行實(shí)時(shí)流水線運(yùn)算，能達(dá)到最高的實(shí)時(shí)性。因此在一些對(duì)實(shí)時(shí)性要求非常高的應(yīng)用領(lǐng)域，做圖像處理基本就只能用FPGA。例如在一些分選設(shè)備中圖像處理基本上用的都是FPGA，因?yàn)樵谄渲邢鄼C(jī)從看到物料圖像到給出執(zhí)行指令之間的延時(shí)大概只有幾毫秒，這就要求圖像處理必須很快且延時(shí)固定，只有FPGA進(jìn)行的實(shí)時(shí)流水線運(yùn)算才能滿足這一要求。

圖1 FPGA實(shí)現(xiàn)圖像的流水處理

所以要了解FPGA進(jìn)行圖像處理的優(yōu)勢(shì)就必須理解FPGA所能進(jìn)行的實(shí)時(shí)流水線運(yùn)算和DSP，GPU等進(jìn)行的圖像處理運(yùn)算有何不同。DSP，GPU，CPU對(duì)圖像的處理基本是以幀為單位的，從相機(jī)采集的圖像數(shù)據(jù)會(huì)先存在內(nèi)存中，然后GPU會(huì)讀取內(nèi)存中的圖像數(shù)據(jù)進(jìn)行處理。假如采集圖像的幀率是30幀，那么DSP，GPU要是能在1/30秒內(nèi)完成一幀圖像的處理，那基本上就能算是實(shí)時(shí)處理。

FPGA對(duì)圖像進(jìn)行實(shí)時(shí)流水線運(yùn)算是以行為單位的。FPGA可以直接和圖像傳感器芯片連接獲得圖像數(shù)據(jù)流，如果是RAW格式的則還可以進(jìn)行插值以獲得RGB圖像數(shù)據(jù)。FPGA能進(jìn)行實(shí)時(shí)流水線處理的關(guān)鍵是它可以用其內(nèi)部的Block Ram緩存若干行的圖像數(shù)據(jù)。這個(gè)Block Ram可以說是類似于CPU里面的Cache，但Cache不是你能完全控制的，但Block Ram是完全可控的，可以用它實(shí)現(xiàn)各種靈活的運(yùn)算處理。這樣FPGA通過緩存若干行圖像數(shù)據(jù)就可以對(duì)圖像進(jìn)行實(shí)時(shí)處理，數(shù)據(jù)就這樣一邊流過就一邊處理好了，不需要送入DDR緩存了之后再讀出來處理。

這樣的數(shù)據(jù)流處理顯然是順序讀取數(shù)據(jù)的，那么也就只能實(shí)現(xiàn)那些順序讀取數(shù)據(jù)的算法，也就是圖像處理中那一大類用3x3到NxN的算子進(jìn)行的濾波、取邊緣、膨脹腐蝕等算法?？赡艽蠹視?huì)覺得這些運(yùn)算似乎都是最基本的圖像處理運(yùn)算，只是個(gè)前端的預(yù)處理，似乎用處不大。但問題是只有FPGA做這樣的運(yùn)算才是速度最快效率最高的，比如用CPU做一個(gè)取邊緣的算法根本就達(dá)不到實(shí)時(shí)。另外別小看了這種NxN算子法，它可以有各種組合和玩法，可以實(shí)現(xiàn)分選多種顏色，甚至分辨簡(jiǎn)單形狀等功能。FPGA進(jìn)行的這種算子法處理是并行流水線算法，其延時(shí)是固定的，比如用3x3的算子進(jìn)行處理其給出結(jié)果的延時(shí)是兩行圖像的時(shí)間。還有這個(gè)算子法和現(xiàn)在卷積神經(jīng)網(wǎng)絡(luò)中最前面的卷積層運(yùn)算是類似的。

圖2 FPGA對(duì)圖像做n行緩存輸出

FPGA中的Block Ram是重要和稀缺資源，能緩存的圖像數(shù)據(jù)行數(shù)是有限的，所以這個(gè)NxN的算子中的N不能特別大。當(dāng)然FPGA也可以接DDR把圖像緩存到其中再讀出來進(jìn)行處理，但這種處理模式就和CPU差不多了，達(dá)不到最高的實(shí)時(shí)性。其實(shí)有些我們認(rèn)為需要隨機(jī)讀取數(shù)據(jù)的圖像處理算法也是可以并行流水線化的，比如連通域識(shí)別?！禙PGA實(shí)現(xiàn)的連通域識(shí)別算法升級(jí)》這是我的一篇文章。

現(xiàn)在貌似神經(jīng)網(wǎng)絡(luò)也可以用FPGA來實(shí)現(xiàn)，并且據(jù)說效率比較高。我暫時(shí)還沒玩過這個(gè)，但知道為什么FPGA在進(jìn)行某些運(yùn)算的時(shí)候效率會(huì)比較高。因?yàn)樵诿芗\(yùn)算中，耽誤時(shí)間和消耗功耗的操作往往不是運(yùn)算本身，而是把數(shù)據(jù)從內(nèi)存中搬來搬去。GPU，CPU在進(jìn)行運(yùn)算時(shí)要把數(shù)據(jù)從內(nèi)存中取出來，算好了在放回去。這樣內(nèi)存帶寬往往成了運(yùn)算速度的瓶頸，數(shù)據(jù)搬運(yùn)過程中的功耗占的比重也不會(huì)小。FPGA則可以通過堆很多計(jì)算硬件的方法把要做的運(yùn)算都展開，然后數(shù)據(jù)從中流過，完成一個(gè)階段的運(yùn)算之后就直接流入第二個(gè)階段，不需要把一個(gè)計(jì)算階段完成后的數(shù)據(jù)再送回內(nèi)存中，再讀出來交給下一個(gè)階段的運(yùn)算。這樣就會(huì)節(jié)省很多時(shí)間和功耗?，F(xiàn)在用FPGA做圖像處理就是這樣干的，比如先用一個(gè)3x3的算子進(jìn)行濾波，再用一個(gè)3x3的算子進(jìn)行取邊緣，在FPGA流水線算法中，濾波處理完了數(shù)據(jù)立即就會(huì)進(jìn)行取邊緣處理，是不需要像CPU那樣存回內(nèi)存再讀出來的。

圖3 簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)

綜上所述，我覺得用FPGA進(jìn)行圖像處理的前景還是挺廣闊的，越來越多的工業(yè)應(yīng)用場(chǎng)合都要求更高的實(shí)時(shí)性，而這正是FPGA所適合的。還有機(jī)器學(xué)習(xí)領(lǐng)域，神經(jīng)網(wǎng)絡(luò)這種層狀的，不需要很隨機(jī)的讀取數(shù)據(jù)的運(yùn)算是比較適合用FPGA來做的。不過FPGA不擅長(zhǎng)浮點(diǎn)運(yùn)算，如果能整出不需要浮點(diǎn)運(yùn)算的神經(jīng)網(wǎng)絡(luò)，那么FPGA在這方面的應(yīng)用將會(huì)更大。

FPGA圖像處理視頻欣賞

可能制約FPGA在這些方面應(yīng)用的關(guān)鍵還是人才的缺乏。大家不知道FPGA擅長(zhǎng)什么，想用卻又不知道怎么用。網(wǎng)上很多傳說都說這個(gè)FPGA編程很底層，很不好用。這些說法也對(duì)也不對(duì)。剛開始學(xué)的時(shí)候是會(huì)有一些困惑。關(guān)鍵是這其中要經(jīng)歷一個(gè)思維方式的轉(zhuǎn)變，從CPU編程思維到硬件編程思維的轉(zhuǎn)變。轉(zhuǎn)變過來了之后就會(huì)發(fā)現(xiàn)，其實(shí)FPGA還是很單純很靈活很好用的，硬件描述語(yǔ)言沒有高級(jí)語(yǔ)言那么復(fù)雜。

圖4 FPGA圖像處理辦法的多樣化

總結(jié)：近年來隨著半導(dǎo)體的工藝不斷提升，F(xiàn)PGA自身的各種資源容量在不斷地提升的同時(shí)也出現(xiàn)了一些異構(gòu)架構(gòu)的FPGA豐富了FPGA圖像處理的方法。

HLS的出現(xiàn)使FPGA開發(fā)走向高級(jí)語(yǔ)言，也變的更為簡(jiǎn)單。有一些公司用新的技術(shù)快速開發(fā)出有圖像識(shí)別功能的設(shè)備。由于FPGA開發(fā)慢、成本高、可重復(fù)配置、有點(diǎn)門檻等等特點(diǎn)，它能夠在DSP、單片機(jī)、ASIC之間分一杯羹。應(yīng)用領(lǐng)域主要在量不大、可定制、可升級(jí)、成本不敏感的地方，比如軍工、醫(yī)療、安防。單位主要是科研院所、醫(yī)療設(shè)備公司、安防設(shè)備、視頻傳輸拼接設(shè)備公司。