今天給大俠帶來基于FPGA的數(shù)字視頻信號(hào)處理器設(shè)計(jì)，由于篇幅較長，分三篇。 今天帶來第一篇，上篇，視頻信號(hào)概述和視頻信號(hào)處理的框架。 話不多說，上貨。

導(dǎo)讀

圖像是用各種觀測系統(tǒng)以不同形式和手段觀測客觀世界而獲得的，可以直接或間接作用于人眼進(jìn)而產(chǎn)生視知覺的實(shí)體。

隨著電子技術(shù)和計(jì)算機(jī)技術(shù)的飛速發(fā)展，數(shù)字圖像技術(shù)近年來得到極大的重視和長足的發(fā)展，并在科學(xué)研究、工業(yè)生產(chǎn)、醫(yī)療衛(wèi)生、通信等方面得到廣泛的應(yīng)用。

視頻信號(hào)由一系列連續(xù)的圖像組成。 對(duì)視頻信號(hào)的處理已經(jīng)成為數(shù)字圖像處理領(lǐng)域中重要的一部分。 例如機(jī)器人模式識(shí)別的過程就是一個(gè)視頻信號(hào)處理的過程，電視制導(dǎo)導(dǎo)彈識(shí)別目標(biāo)就是充分利用視頻信號(hào)處理技術(shù)不斷判斷目標(biāo)是否和預(yù)先設(shè)定目標(biāo)圖像一致。 本篇將講解如何用 FPGA 技術(shù)實(shí)現(xiàn)基本的視頻信號(hào)處理。 本篇的例子可以作為各位大俠進(jìn)行視頻信號(hào)處理時(shí)的一個(gè)參考，也可以在這個(gè)基礎(chǔ)上根據(jù)需要進(jìn)行擴(kuò)展。

第一篇內(nèi)容摘要：本篇會(huì)介紹視頻信號(hào)概述，包括視頻信號(hào)處理的基本過程、數(shù)字圖像處理技術(shù)概念、數(shù)字視頻信號(hào)的格式； 視頻信號(hào)處理的框架，包括視頻信號(hào)轉(zhuǎn)換模塊、視頻數(shù)據(jù)計(jì)算模塊以及通信模塊等相關(guān)內(nèi)容。

一、視頻信號(hào)概述

在講解數(shù)字視頻信號(hào)處理器以前，需要了解視頻信號(hào)的組成。 攝像頭輸出的視頻信號(hào)滿足電視信號(hào)的制式，一般攝像頭、攝像機(jī)都提供 PAL 制的視頻信號(hào)。

目前，世界上實(shí)際應(yīng)用的電視信號(hào)制式主要有 NTSC 制、PAL 制和 SECAM 制 3 種。 世界上大多數(shù)國家采用 PAL 制，我國也采用 PAL 制。 美國、日本等國家采用 NTSC 制。 俄羅斯、法國、埃及等少數(shù)國家采用 SECAM 制。

PAL 電視制式規(guī)定，場掃描頻率為 50Hz，每幀圖像的掃描行數(shù)為 625 行。 PAL 制電視信號(hào)如圖 1 所示。

圖 1 PAL 制電視信號(hào)

電視信號(hào)由“圖像信號(hào)”和確保掃描同步的“復(fù)合同步信號(hào)”以及消除掃描逆程回掃線的“復(fù)合消隱信號(hào)”等輔助信號(hào)構(gòu)成。 有關(guān)電視信號(hào)的原理請自行查閱相關(guān)資料，這里不詳細(xì)解釋。

1.1 視頻信號(hào)處理的基本過程

視頻信號(hào)的處理過程就是拍攝視頻信號(hào)的逆過程。 攝像頭輸出的是標(biāo)準(zhǔn) PAL 制電視信號(hào)。 攝像頭通過光電轉(zhuǎn)換實(shí)現(xiàn)圖像到視頻信號(hào)的轉(zhuǎn)換，也就是掃描的過程。 攝像頭每掃描完一行圖像，加入一個(gè)行同步脈沖，每掃描完一場圖像加入一個(gè)場同步信號(hào)。 同時(shí)為了保證掃描逆程光柵不顯示，應(yīng)加入和同步信號(hào)同周期的消隱信號(hào)。

對(duì)視頻信號(hào)進(jìn)行處理，需要先進(jìn)行 A/D 轉(zhuǎn)換、行/場同步信號(hào)的分離等步驟，然后采用專用的視頻信號(hào)處理器對(duì)視頻信號(hào)進(jìn)行轉(zhuǎn)換，最后用FPGA 處理數(shù)字圖像信號(hào)并得到需要的結(jié)果。 視頻信號(hào)處理流程如圖 2 所示。

圖 2 視頻信號(hào)處理基本流程

1.2 數(shù)字圖像處理技術(shù)概念

如圖 2 所示的流程中，視頻信號(hào)的放大、模數(shù)轉(zhuǎn)換和格式轉(zhuǎn)換由專用的視頻處理芯片完成，F(xiàn)PGA 需要完成對(duì)視頻信號(hào)轉(zhuǎn)化后的數(shù)字圖像進(jìn)行處理和運(yùn)算。 在進(jìn)行具體的開發(fā)前先介紹一下相關(guān)的概念。

1）像素

一幅平面圖像可以看成是由許許多多的小單元組成，在圖像處理系統(tǒng)中，這些組成畫面的細(xì)小單元稱為像素。 像素越小，單位面積上的像素?cái)?shù)目就越多，由其構(gòu)成的圖像就越清晰。

一幅黑白或者灰度平面圖像，表征它的特征參量是亮度。 這就是說，組成畫面的每個(gè)像素，不但有各自確定的幾何位置，而且它們各自還呈現(xiàn)著不同的亮度。 又由于電視系統(tǒng)傳送的是活動(dòng)圖像，因而每個(gè)在確定位置上的像素其亮度又隨時(shí)間不斷地變化著，也就是說像素的亮度又是時(shí)間的函數(shù)。 像素亮度既是空間（二維）的函數(shù)，同時(shí)又是時(shí)間的函數(shù)。

2）一幀圖像

電視系統(tǒng)中把構(gòu)成一幅圖像的各像素傳送一遍稱為進(jìn)行了一個(gè)幀處理，或稱為傳送了一幀，每幀圖像由許多像素組成。 因此組成一幅完整圖像也叫做一幀圖像。

3）一場圖像

PAL 制電視圖像是隔行掃描的，即一幀圖像分兩次掃描，第一次掃描奇數(shù)行的圖像，第二次掃描偶數(shù)行的圖像。 每次掃描獲得的圖像稱為一場圖像，分為奇數(shù)場和偶數(shù)場。

4）圖像的串行傳輸

根據(jù)人的視覺惰性，可把組成一幀圖像的各個(gè)像素的亮度按一定順序一個(gè)一個(gè)地轉(zhuǎn)換成相應(yīng)的電信號(hào)并依次傳送出去，接收端再按同樣順序?qū)⒏鱾€(gè)電信號(hào)在對(duì)應(yīng)位置上轉(zhuǎn)變成具有相應(yīng)亮度的像素，這就是圖像的串行傳輸。

這種串行傳輸具有兩個(gè)特點(diǎn)：

? 要求傳送速度快。 只有傳送迅速，傳送時(shí)間小于視覺暫留時(shí)間，重現(xiàn)圖像才會(huì)給人以連續(xù)無跳動(dòng)的感覺。

? 傳送要準(zhǔn)確。 每個(gè)像素一定要在輪到它傳送時(shí)才被轉(zhuǎn)換、傳送，并被接收方接收。 而且收、發(fā)雙方每個(gè)像素被轉(zhuǎn)換、還原的幾何位置要一一對(duì)應(yīng)。 即收發(fā)雙方應(yīng)同步工作，同步在電視系統(tǒng)中是十分重要的。

5）掃描

將組成一幀圖像的像素，按順序轉(zhuǎn)換成電信號(hào)的過程（或逆過程）稱為掃描。 掃描的過程和我們讀書時(shí)視線從左到右、自上而下依次進(jìn)行的過程類似。 從左至右的掃描稱為行掃描，自上而下的掃描稱為幀或者場掃描。 電視系統(tǒng)中，掃描多是由電子槍進(jìn)行的，通常稱其為電子掃描。 通過電子掃描與光電轉(zhuǎn)換，就可以把反映一幅圖像亮度的空間與時(shí)間的函數(shù)轉(zhuǎn)換為只隨時(shí)間變化的單值函數(shù)（電信號(hào)），從而實(shí)現(xiàn)平面圖像的順序傳送。

1.3 數(shù)字視頻信號(hào)的格式

PAL 制電視信號(hào)轉(zhuǎn)化為數(shù)字視頻信號(hào)后的具體格式如圖 3 所示，一般數(shù)據(jù)格式符合 ITU656 YUV 42 標(biāo)準(zhǔn)（在后面的將結(jié)合數(shù)字視頻處理器對(duì)數(shù)字視頻格式詳細(xì)介紹）。

圖 3 一幀圖像采集的時(shí)序關(guān)系

一幀圖像含有 625 行數(shù)據(jù)，其中有效圖像數(shù)據(jù) 572 行，其他為場消隱信號(hào)； 每行圖像數(shù)據(jù)包含 720 個(gè)像素。 因此，PAL 制電視信號(hào)的分辨率為 720×572。 PAL 制電視信號(hào)每秒掃描 25幀圖像，每幀包括奇、偶兩場圖像。 一幀圖像分為奇數(shù)場和偶數(shù)場，每場各有 286 行有效圖像。 垂直參考電壓信號(hào) VREF 的高電平表示有效圖像信號(hào)，偶數(shù)場和奇數(shù)場各 286 行。 ODD 信號(hào)高電平表示為奇數(shù)場，低電平表示偶數(shù)場。 行參考電壓信號(hào) HREF 信號(hào)表示一行有效的圖像數(shù)據(jù)。 一行圖像數(shù)據(jù)又包括 720 個(gè)像素的數(shù)據(jù)，每行圖像數(shù)據(jù)如圖 4 所示。

圖 4 一行圖像數(shù)據(jù)

二、視頻信號(hào)處理的框架

如圖 5 所示的是一般工程項(xiàng)目中視頻信號(hào)處理的框架，由 3 個(gè)模塊組成：

? 視頻信號(hào)轉(zhuǎn)換模塊

由視頻信號(hào)處理器完成視頻信號(hào)從模擬信號(hào)到數(shù)字信號(hào)的轉(zhuǎn)換、圖像信號(hào)與其他的分離、視頻信號(hào)的格式轉(zhuǎn)換等，最終提供后端可以處理的數(shù)字視頻數(shù)據(jù)。

? 視頻數(shù)據(jù)計(jì)算模塊

首先接收來自前一個(gè)模塊的數(shù)字視頻數(shù)據(jù)，然后完成對(duì)數(shù)字視頻數(shù)據(jù)的計(jì)算。 一般數(shù)據(jù)接收由 FPGA 完成，根據(jù)需要可以選擇專用芯片，如 DSP（Digital SignalProcessor，數(shù)字信號(hào)處理器）完成計(jì)算，也可以選擇 FPGA。

? 通信模塊

實(shí)現(xiàn)與外界的數(shù)據(jù)交換。

圖 5 視頻信號(hào)處理框架

雖然視頻信號(hào)處理的需求多種多樣，但數(shù)據(jù)處理的流程都遵循數(shù)據(jù)采集、格式轉(zhuǎn)換、數(shù)據(jù)接收、數(shù)據(jù)計(jì)算、數(shù)據(jù)通信的步驟。

2.1 視頻信號(hào)轉(zhuǎn)換模塊

視頻信號(hào)轉(zhuǎn)換模塊由視頻信號(hào)處理器及其輔助電路組成。 這個(gè)模塊的設(shè)計(jì)要點(diǎn)是選擇視頻信號(hào)處理器。 電視信號(hào)構(gòu)成極為復(fù)雜，其中除了包含圖像信號(hào)之外，還包含行同步信號(hào)、行消隱信號(hào)、場同步信號(hào)、場消隱信號(hào)以及槽脈沖信號(hào)、前均衡脈沖、后均衡脈沖等。 因而，對(duì)電視信號(hào)進(jìn)行 A/D 轉(zhuǎn)換的電路也非常復(fù)雜，Philips 公司將這些非常復(fù)雜的電視 A/D 轉(zhuǎn)換電路集成到了一塊芯片內(nèi)，生產(chǎn)出功能強(qiáng)大的視頻輸入處理芯片 SAA7113（后面簡稱 SAA7113）。

SAA7113 采用 CMOS 工藝，通過簡潔的 I2C 總線與采樣控制器連接可方便地構(gòu)成圖像采集系統(tǒng)。 SAA7113 芯片中的場同步信號(hào)、行同步信號(hào)、像素時(shí)鐘信號(hào) LLC2 以及其他狀態(tài)信號(hào)都可直接由管腳引出，省去了時(shí)鐘同步電路的設(shè)計(jì)，而且可靠性更高。 系統(tǒng)內(nèi)部采用鎖相環(huán)技術(shù)，不但有高的可靠性，并簡化了設(shè)計(jì)復(fù)雜度。 在 SAA7113 中有控制字可以直接控制行同步有效時(shí)間，省略了行延遲電路。 因此，采用 SAA7113 可為電視信號(hào)的數(shù)字化應(yīng)用提供極大的方便。

2.2 視頻數(shù)據(jù)計(jì)算模塊

在視頻信號(hào)處理過程中為保證實(shí)時(shí)性，首先要求實(shí)時(shí)圖像處理系統(tǒng)具有處理大數(shù)據(jù)量的能力； 其次對(duì)系統(tǒng)的體積大小、功能、穩(wěn)定性等也有嚴(yán)格的要求。 實(shí)時(shí)圖像處理算法中經(jīng)常要用到對(duì)圖像的求和、求差運(yùn)算、二維梯度運(yùn)算、圖像分割、邊緣探測等不同層次、不同種類的運(yùn)算。 有的運(yùn)算結(jié)構(gòu)比較簡單，但是數(shù)據(jù)量大，計(jì)算速度要求高； 有些運(yùn)算對(duì)速度要求并不高，但計(jì)算方式和結(jié)構(gòu)比較復(fù)雜，難以用純硬件方式實(shí)現(xiàn)。 因此，實(shí)時(shí)圖像處理系統(tǒng)是要求運(yùn)算速度高、運(yùn)算種類多的綜合性信息處理系統(tǒng)。

隨著大規(guī)?？?a href="http://hljzzgx.com/v/tag/1315/" target="_blank">編程器件的發(fā)展，采用 DSP+ASIC（Application Specific IntegratedCircuit，特定用途集成電路）結(jié)構(gòu)的信號(hào)處理系統(tǒng)顯示出了其優(yōu)越性，逐步得到重視。與通用集成電路相比，ASIC 芯片具有體積小、重量輕、功耗低、可靠性高等優(yōu)點(diǎn)，而且在大批量應(yīng)用時(shí)更可降低成本。現(xiàn)場可編程門陣列（FPGA）是在專用 ASIC 的基礎(chǔ)上發(fā)展起來的，它克服了專用 ASIC 不夠靈活的缺點(diǎn)。與其他中小規(guī)模集成電路相比，其優(yōu)點(diǎn)主要在于它的靈活性很強(qiáng)，即其內(nèi)部具體的邏輯功能可以根據(jù)需要配置，對(duì)電路的修改和維護(hù)很方便。

目前，F(xiàn)PGA的容量已經(jīng)超過了百萬門級(jí)，F(xiàn)PGA 已成為系統(tǒng)設(shè)計(jì)的重要選擇方案之一。圖像處理系統(tǒng)中，底層的圖像預(yù)處理的數(shù)據(jù)量很大，要求處理速度快，但運(yùn)算結(jié)構(gòu)相對(duì)比較簡單，適用于 FPGA 通過硬件實(shí)現(xiàn)，這樣能同時(shí)兼顧速度及靈活性。高層運(yùn)算的特點(diǎn)是所處理的數(shù)據(jù)量較底層少，但算法結(jié)構(gòu)復(fù)雜，適宜采用運(yùn)算速度高、尋址方式靈活、通信能力強(qiáng)的DSP 芯片來實(shí)現(xiàn)。

DSP+FPGA 結(jié)構(gòu)最大的特點(diǎn)是結(jié)構(gòu)靈活，有較強(qiáng)的通用性，適于模塊化設(shè)計(jì)，從而能夠提高運(yùn)算、處理的效率；同時(shí)開發(fā)周期短，易于維護(hù)和擴(kuò)展，適于實(shí)時(shí)圖像處理；對(duì)不同算法有較強(qiáng)的適應(yīng)能力。

上面的討論為各位大俠提供視頻數(shù)據(jù)計(jì)算的方案。由于本篇主要介紹 FPGA 技術(shù)，這里將結(jié)合FPGA 介紹如何進(jìn)行視頻數(shù)據(jù)計(jì)算。

2.3 通信模塊

通信模塊用于提供當(dāng)前系統(tǒng)與外部進(jìn)行數(shù)據(jù)交換的通道，可以有以太網(wǎng)、RS-232、RS-422、RS-485、現(xiàn)場總線、USB 等多種方式。

本篇到此結(jié)束，下一篇帶來基于FPGA的數(shù)字視頻信號(hào)處理器設(shè)計(jì)（中），介紹視頻信號(hào)處理的電路，包括中央控制器 FPGA、電視信號(hào)轉(zhuǎn)換模塊電路、圖像緩存部分電路；還會(huì)介紹視頻處理程序的具體實(shí)現(xiàn)，包括主體程序的實(shí)現(xiàn)、視頻圖像數(shù)據(jù)采集程序的實(shí)現(xiàn)以及SRAM 的讀寫控制等相關(guān)內(nèi)容。

審核編輯：湯梓紅