描述

該項(xiàng)目將展示如何實(shí)施完整的端到端圖像處理管道，以實(shí)施能夠以 30fps 的速度運(yùn)行的邊緣檢測(cè)視覺算法，以檢測(cè)道路車道。

一、簡(jiǎn)介

要實(shí)現(xiàn)實(shí)時(shí)車道檢測(cè)，我們的想法是拍攝圖像并將其傳遞給邊緣檢測(cè)器 IP。最著名的一種是 Sobel 邊緣檢測(cè)器。然而，Canny 邊緣檢測(cè)器具有可編程閾值的優(yōu)勢(shì)。即時(shí)修改閾值可以適應(yīng)不同的光照條件。

https://en.wikipedia.org/wiki/Canny_edge_detector

視覺處理流水線在邏輯上可以分為三個(gè)部分。圖像源、圖像處理管道和圖像接收器。

?

?

從高層次的角度來(lái)看，需要一個(gè)圖像源（可以是相機(jī)傳感器或圖像模式生成器）和一個(gè)接收器（可以是顯示器）。

2.硬件塊

首先，必須將所有原型硬件部件放在一起。在這種情況下，系統(tǒng)硬件僅由五個(gè)組件組成。

a) MiniZed ZYNQ 開發(fā)板

b) OV7670 相機(jī)

c) Arduino 屏蔽穿孔板

d) 10pin 0.1inch 母頭

e) VGA PMOD

OV7670 相機(jī)安裝在一個(gè) 10 針 0.1 英寸母接頭上，該接頭本身焊接到原型板上。VGA PMOD 連接到 MiniZed 雙 PMOD 接頭連接器。最后一步是將 VGA 電纜連接到顯示器。

一旦硬件系統(tǒng)組裝在一起，下一步就是使用 Vivado 在 FPGA (PL) 上設(shè)計(jì)硬件。

3.FPGA硬件

1. 圖片來(lái)源

有許多相機(jī)接口，但最簡(jiǎn)單的是使用并行總線的 CMOS 傳感器，例如古老的 OV7670 相機(jī)傳感器。然而，要使用這樣的傳感器，必須實(shí)現(xiàn)一個(gè)相機(jī)捕獲模塊，該模塊將從傳感器傳輸?shù)淖止?jié)流轉(zhuǎn)換為適當(dāng)?shù)膮f(xié)議，在我們的例子中是 AXIS 總線。

此外，必須通過在 PL 中將配置模塊實(shí)現(xiàn)為從 BRAM 讀取配置的 I2C 模塊或在 PS 中將配置模塊實(shí)現(xiàn)為通用相機(jī)驅(qū)動(dòng)程序來(lái)配置相機(jī)。PS 配置顯然更靈活，所以我選擇了這個(gè)選項(xiàng)。

?

?

Vivado 設(shè)計(jì)中的圖像源是與 OV7690 CMOS 相機(jī)接口的定制 IP。相機(jī)使用并行八位接口。此外，還有兩個(gè)同步信號(hào)HSYNC和VSYNC，其選通模式分別表示行和幀。相機(jī)使用輸出像素時(shí)鐘 PCLK。像素速率與 PCLK 同步。OV7690 相機(jī)還需要一個(gè) 24 MHz (XCLK) 相機(jī)時(shí)鐘作為輸入。

OV7690 每個(gè)像素輸出 2 個(gè)字節(jié)。根據(jù)配置代碼，相機(jī)可以配置為使用不同的色彩空間。IP 配置為使用 RGB565 色彩空間。相機(jī)的控制是通過 AXI 接口完成的。攝像機(jī) IP 在內(nèi)存中分配了一個(gè)位置。要啟動(dòng)相機(jī)，必須設(shè)置位以啟用相機(jī)輸出數(shù)據(jù)。數(shù)據(jù)本身使用 AXIS (AXI Stream) 協(xié)議打包。

2. 跨時(shí)鐘域

來(lái)自相機(jī)的 AXIS 輸出被發(fā)送到異步 FIFO。這是需要跨越兩個(gè)不同時(shí)鐘域時(shí)使用的一種方法。

?

FIFO 的從端連接到 PCLK，而 FIFO 的主端連接到工作頻率為 50MHz 的 AXI 主時(shí)鐘域。主時(shí)鐘必須始終高于從時(shí)鐘，否則 FIFO 將溢出導(dǎo)致丟失像素。

?

在像素流穿過時(shí)鐘域后，它通過子集轉(zhuǎn)換器發(fā)送。這是一個(gè) AXIS IP 塊，可將 RGB565 數(shù)據(jù)重新映射為 24 位數(shù)據(jù)包。圖像處理 IP 使用 24 位，因?yàn)槊糠N顏色都分配了 8 位。

下一個(gè)元素是 AXIS 開關(guān)。該 IP 作為 AXIS 流的簡(jiǎn)單多路復(fù)用器運(yùn)行。它可以通過 AXI lite 接口或利用 AXIS 頻閃信號(hào)自動(dòng)配置。在此特定應(yīng)用中，啟用了 AXIS 開關(guān)的 AXI Lite 接口。然而，這需要實(shí)施 SDK 驅(qū)動(dòng)程序來(lái)配置開關(guān)多路復(fù)用器。

3.圖像過濾

Canny 邊緣檢測(cè)器 IP 是使用 Vivado HLS 構(gòu)建的。它是用 C 語(yǔ)言編寫的。HLS 的主要優(yōu)點(diǎn)是允許快速部署 IP。缺點(diǎn)是生成的邏輯是模糊的，通常不如手工制作的 Verilog 代碼高效，盡管它可以接近它。在任何情況下，生成 Canny IP 都涉及使用 Vivado HLS 2013 和 2018.3 版本的 xfopencv。這是一組 C++ 庫(kù)，復(fù)制了用于 FPGA 邏輯的眾所周知的 OpenCV 庫(kù)。

Xilinx 最近發(fā)布了 Vivado 2019.1 以及 HLS 2019.1。這需要使用帶有非免費(fèi)修訂框架的 SDSOC。

已實(shí)施的修訂代碼的主要更改是修改功能以支持 AXIS 協(xié)議的輸入和輸出。此外，AXI Lite 總線用于將所有可編程變量捆綁在一個(gè)集合中，并通過連接到 GP0 ZYNQ 總線的 AXI 互連將它們暴露給 PS 內(nèi)存映射。

?

?

最后，為了在兩個(gè)不同的 IP 之間切換，使用了 AXI 開關(guān)。

?

?

VDMA 配置為三重緩沖模式。VDMA 需要在運(yùn)行前通過 AXI lite 接口進(jìn)行配置，該接口將其連接到主 AXI 互連。

下面的代碼顯示了針對(duì) VGA 分辨率的 VDMA 配置。

	Xil_DCacheFlush();    
	Xil_ICacheInvalidate();    
	/* Start of VDMA Configuration */    
   Xil_Out32(XPAR_VDMA_S2MM_BASEADDR + 0x30, 0x8B);    
   Xil_Out32(XPAR_VDMA_S2MM_BASEADDR + 0xAC, 0x10000000);    
   Xil_Out32(XPAR_VDMA_S2MM_BASEADDR + 0xB0, 0x100F0000);    
   Xil_Out32(XPAR_VDMA_S2MM_BASEADDR + 0xB4, 0x101E0000);    
   Xil_Out32(XPAR_VDMA_S2MM_BASEADDR + 0xA8, WIDTH*2);    
   Xil_Out32(XPAR_VDMA_S2MM_BASEADDR + 0xA4, WIDTH*2);    
   Xil_Out32(XPAR_VDMA_S2MM_BASEADDR + 0xA0, HEIGHT);    
   Xil_Out32(XPAR_VDMA_S2MM_BASEADDR + 0x00, 0x8B);    
   Xil_Out32(XPAR_VDMA_S2MM_BASEADDR + 0x5C, 0x10000000);    
   Xil_Out32(XPAR_VDMA_S2MM_BASEADDR + 0x60, 0x100F0000);    
   Xil_Out32(XPAR_VDMA_S2MM_BASEADDR + 0x64, 0x101E0000);    
   Xil_Out32(XPAR_VDMA_S2MM_BASEADDR + 0x58, WIDTH*2);    
   Xil_Out32(XPAR_VDMA_S2MM_BASEADDR + 0x54, WIDTH*2);    
   Xil_Out32(XPAR_VDMA_S2MM_BASEADDR + 0x50, HEIGHT);     

。。

VTC 本身配置為 VGA 分辨率。

?

?

這基本上是一個(gè) R2RDAC，它采用數(shù)字?jǐn)?shù)據(jù)總線以及行和幀同步信號(hào) HSYNCS 和 VSYNC，并將數(shù)據(jù)發(fā)送到監(jiān)視器。

正如您在下面看到的，應(yīng)用程序在正常 VGA 模式、灰色模式（看起來(lái)更像藍(lán)色）和邊緣檢測(cè)模式之間不斷切換。

?

概括

該項(xiàng)目展示了如何在 ZYNQ FPGA SoC 上實(shí)現(xiàn)完整的端到端視覺處理流水線。硬件能夠以 30 fps 的速度進(jìn)行實(shí)時(shí)邊緣檢測(cè)。

其他想法包括：

• 添加更多濾波器類型，如中值、高斯、索貝爾、普維特等。
• 為 MiniZed 構(gòu)建一個(gè) PYNQ 發(fā)行版以從 Linux 訪問 IP，以構(gòu)建一個(gè)無(wú)線 WiFi 攝像頭。
• 升級(jí)到更高清晰度的相機(jī)傳感器。

?

?