這是新的系列教程，在本教程中，我們將介紹使用 FPGA 實現(xiàn)深度學(xué)習(xí)的技術(shù)，深度學(xué)習(xí)是近年來人工智能領(lǐng)域的熱門話題。

在本教程中，旨在加深對深度學(xué)習(xí)和 FPGA 的理解。

用 C/C++ 編寫深度學(xué)習(xí)推理代碼

高級綜合 (HLS) 將 C/C++ 代碼轉(zhuǎn)換為硬件描述語言

FPGA 運行驗證

在之前的文章中，我們已經(jīng)依次抽取了推理核的任務(wù)并行度和循環(huán)并行度和數(shù)據(jù)并行性。在本文中，我們將繼續(xù)優(yōu)化。

最終版本包括全連接層的循環(huán)數(shù)據(jù)并行化

在上篇文章中《從FPGA說起的深度學(xué)習(xí)（八）-數(shù)據(jù)并行性》，全連接層是一個瓶頸，所以我們實現(xiàn)了一個優(yōu)化了全連接層的版本。我不會在此處粘貼代碼，因此請查看代碼存儲庫中的linear.h （文末）。全連接層是向量和矩陣的乘積，因此與卷積層不同，它不能在兩個通道上并行化，但基本上可以使用與卷積層相同的過程進行優(yōu)化。

如第 6 篇文章所示，當(dāng)任務(wù)之間的處理時間一致時，任務(wù)并行性最有效。下表顯示了最終版本的并行化程度和執(zhí)行周期數(shù)，它是根據(jù)這個目標(biāo)進行參數(shù)調(diào)整的conv1, conv2, fc1, fc2。本來，處理fc2一直很低，但現(xiàn)在其他內(nèi)核基本平衡了。

?

?

各層的并行度和處理性能

整體加速結(jié)果

從第8篇到第3篇，我們將任務(wù)并行化、循環(huán)并行化、數(shù)據(jù)并行化應(yīng)用于推理內(nèi)核。下表總結(jié)了這些方法的優(yōu)化結(jié)果。

另外，雖然在之前的文章中沒有涉及到，但每個優(yōu)化結(jié)果的資源使用情況如下：

首先，看執(zhí)行性能，這些調(diào)優(yōu)最終使其比基線快 417.87 倍。兩個特別有效的是使用本地緩沖區(qū)減少外部內(nèi)存訪問和最終版本（加速完全連接的層+層之間的平衡）。這兩者中，前者需要大量增加RAM資源，后者需要增加運算單元資源（DSP、LUT）。

另外，雖然我們已經(jīng)實現(xiàn)了400多倍的性能提升，但即使是資源增量方面增速最高的DSP，也只是63 / 20 = 3.15翻了一番。特別是任務(wù)并行化和循環(huán)并行化是非常有利的結(jié)果，因為幾乎不增加資源就可以提高性能。

即使使用當(dāng)前內(nèi)核，F(xiàn)PGA 內(nèi)部仍有大量資源，因此可以應(yīng)用進一步的優(yōu)化?？梢韵襁@次一樣進一步提取內(nèi)核內(nèi)部的數(shù)據(jù)并行性，也可以復(fù)制內(nèi)核本身，取幀間的并行性。特別是，如果只使用前者，在綜合時很難滿足時序限制，所以我認(rèn)為有時不得不采用后者的方法。

總結(jié)

本次針對的 MNIST 數(shù)據(jù)集是一個非常小的數(shù)據(jù)集，圖像大小為 28×28。此外，該模型是一個非常輕量級的網(wǎng)絡(luò)模型。如果將這些做成更真實的數(shù)據(jù)模型，計算規(guī)模會發(fā)生如下變化。

分辨率：28×28 -> 幾百到幾千的寬高

網(wǎng)絡(luò)規(guī)模：2層（卷積層轉(zhuǎn)換）->幾十到幾百

粗略計算一個真實模型所需的計算量，大約是本次創(chuàng)建的網(wǎng)絡(luò)模型量的1000到100萬倍。如果這個是1000倍左右的話，即使以現(xiàn)在配置的運算單元數(shù)也能處理幾十毫秒的量級，但如果再增加的話，60fps這樣的實時圖像處理就會變得困難。為此，實際上使用量化和修建等技術(shù)來降低計算成本。我們將在下一篇也是最后一篇文章中介紹這些內(nèi)容。

編輯：黃飛

?