視覺系統(tǒng)的構(gòu)成

從機(jī)器視覺的定義可以推測出，一個攝像機(jī)和一個處理器結(jié)合在一起形成一個視覺系統(tǒng)。然而，這只是部分完整的描述。確實(shí)，視覺系統(tǒng)需要攝像機(jī)和處理器，但還有更多的組成部分，如圖8所示。

攝像機(jī)需要鏡頭來形成光學(xué)圖像。鏡頭必須提供合適的工作距離（鏡頭到場景的距離），正確的放大倍率，使場景填滿攝像機(jī)的視野，并具備分辨細(xì)節(jié)的能力。還需要光源，以確保攝像機(jī)獲得足夠的合適照明，以創(chuàng)建可用且可靠的圖像。 攝像機(jī)和處理器之間需要有一個接口。還需要軟件來執(zhí)行所需的應(yīng)用程序分析。最后，處理器必須支持與其他連接設(shè)備所需的輸入和輸出。

視覺系統(tǒng)的類型

通常攝像機(jī)和處理器是分開的。這使得攝像機(jī)可以更小，而處理器則具備所有所需的計(jì)算能力和輸入輸出功能。它還允許一個處理器為兩個或多個攝像機(jī)提供服務(wù)。這種類型的視覺系統(tǒng)的常見形式是使用個人計(jì)算機(jī)作為處理器（見圖9）?；趥€人計(jì)算機(jī)的視覺系統(tǒng)提供了最大的靈活性。有許多攝像機(jī)接口可供選擇，許多不同的軟件包可供選擇，并且輸入輸出配置具備顯著的靈活性。然而，這種靈活性增加了應(yīng)用程序的工程化難度。為了使此配置與更苛刻的環(huán)境兼容，有可靠的工控計(jì)算機(jī)可供選擇。

類似的配置是用專有處理器替換個人計(jì)算機(jī)（見圖10）。這種處理器帶有專有軟件。它可以使用標(biāo)準(zhǔn)或?qū)Ｓ袛z像機(jī)接口，并通常在輸入輸出方面具有靈活性。這種配置通常是為工廠環(huán)境設(shè)計(jì)的。與基于個人計(jì)算機(jī)的視覺系統(tǒng)相比，應(yīng)用程序的工程化難度較低。

還有一種趨勢是將攝像機(jī)和處理器合并為一個緊湊的設(shè)備，稱為智能相機(jī)或智能傳感器（見圖11）。這對于單個攝像機(jī)應(yīng)用和物聯(lián)網(wǎng)設(shè)備已經(jīng)變得非常有效。由于緊湊的尺寸，處理和輸入輸出受到限制。雖然智能相機(jī)有時配備了內(nèi)置照明，但通常還需要其他光源。在大多數(shù)智能相機(jī)中，軟件已內(nèi)置，使得這些是應(yīng)用最簡便的視覺系統(tǒng)。有一些產(chǎn)品專為OEM設(shè)計(jì)，他們可以承擔(dān)更多的工程化工作，這些產(chǎn)品不提供預(yù)裝軟件。

這是一類是應(yīng)用特定的機(jī)器視覺（ASMV）系統(tǒng)。圖12顯示了一個示例。這是一個為特定應(yīng)用設(shè)計(jì)的視覺系統(tǒng)。除了安裝和產(chǎn)品特定配置外，幾乎不需要任何工程化工作就可以直接使用。ASMV的更高成本可以抵消幾乎不需要應(yīng)用工程化的優(yōu)點(diǎn)。此外，相對于僅為一次安裝設(shè)計(jì)的其他視覺系統(tǒng)，更全面的現(xiàn)場支持也是可用的。

?

最后一類是嵌入式視覺系統(tǒng)。對于什么是嵌入式視覺系統(tǒng)，目前并沒有完全一致的定義。實(shí)際上，我們可以認(rèn)為它是一個設(shè)計(jì)用于集成到最終產(chǎn)品中的視覺系統(tǒng)，并且攝像機(jī)和處理器緊密耦合，如圖13所示。主要是為了OEM將其集成到產(chǎn)品中。

攝像機(jī)

讓我們更詳細(xì)地了解一下攝像機(jī)。圖14展示了攝像機(jī)的組成部分。

圖像傳感器是攝像機(jī)的主要組件，賦予攝像機(jī)大部分重要的特性。

電子元件控制圖像傳感器的時序，調(diào)節(jié)圖像傳感器的增益等功能，并提供攝像機(jī)獨(dú)有的其他特性。

鏡頭支架用于安裝鏡頭，將光學(xué)圖像投射到圖像傳感器上。

接口將攝像機(jī)連接到處理器。

圖像傳感器

圖像傳感器如圖15所示，由一組傳感元件組成，放大圖中顯示了這些元件，并帶有電路，用于從元件中讀取信號并將其轉(zhuǎn)換為數(shù)字信號。

當(dāng)暴露在光線下時，傳感元件將入射光子轉(zhuǎn)換為電荷（見圖16）。

在曝光過程中，這些光生電子在傳感元件中積累。當(dāng)傳感元件讀出時，其電壓與光生電子的數(shù)量成正比。讀出后，傳感元件被重置，清除所有光生電子，使其準(zhǔn)備好進(jìn)行下一次曝光。 你可以正確推斷傳感元件實(shí)際上是一個光子計(jì)數(shù)器。這幾乎正確，除了它是一個不完美的光子計(jì)數(shù)器。它并不能計(jì)算每個光子。它計(jì)算的光子百分比稱為其量子效率，簡稱QE。量子效率隨著光的波長而變化，如圖17所示。

彩色成像

制造彩色相機(jī)的圖像傳感器有兩種主要方法。第一種方法是使用三個單獨(dú)的圖像傳感器和光學(xué)部件，將紅、綠和藍(lán)三個顏色分量分離為單獨(dú)的方向，使得每個傳感器只感測其中一種顏色（見圖19）。每個像素有三個值，分別來自這三個圖像傳感器。

另一種方法是在每個單獨(dú)的感測元件上放置紅、綠和藍(lán)色濾光片。這些濾光片的常見模式是Bayer模式（見圖18）。每個像素仍然有三個值：一個通過其顏色濾光片直接感測的值，另外兩個顏色值是通過相鄰像素進(jìn)行插值得到的。

高動態(tài)范圍

相機(jī)中的噪點(diǎn)水平通常限制了每個像素的數(shù)據(jù)為8或10位。這相當(dāng)于256或1,024個灰度級別。對于許多應(yīng)用來說，這完全足夠。然而，有些應(yīng)用需要能夠感知圖像中既在高光（明亮）區(qū)域，也在陰影（暗）區(qū)域中的細(xì)節(jié)。 解決這一挑戰(zhàn)的方法是高動態(tài)范圍（HDR）成像。這涉及拍攝兩張（或更多）曝光時間不同的照片。較短曝光時間的像素的高位將保留高光的細(xì)節(jié)，而較長曝光時間的像素的低位將保留陰影中的細(xì)節(jié)。通過將每次曝光得到的位組合，生成一個新的像素值，從而獲得更高的動態(tài)范圍，如圖20所示。

鏡頭安裝

機(jī)器視覺相機(jī)上使用了許多不同的鏡頭安裝方式，但最常見的是C安裝。鏡頭安裝方式的特點(diǎn)在于其螺紋（除非是卡口式安裝）和其法蘭焦距。法蘭焦距是從鏡頭安裝座到圖像傳感器的距離。 對于C安裝，螺紋是1英寸×24牙/英寸。法蘭焦距為17.52毫米（0.69英寸）。另一種常見的鏡頭安裝方式是CS安裝。它與C安裝具有相同的螺紋，但其法蘭焦距為12.52毫米。 鏡頭必須安裝到相機(jī)上。通常，兩者具有相同的安裝方式。然而，有時在鏡頭和相機(jī)具有不同安裝方式時會使用適配器。

相機(jī)接口

有許多種相機(jī)接口。以下六種是機(jī)器視覺中常用的接口：

Camera Link

GigE Vision

USB3 Vision

CoaXPress

Camera Link HS

MIPI

這些標(biāo)準(zhǔn)大多有不同的選項(xiàng)，有些選項(xiàng)還非常多。因此，詳細(xì)介紹每個接口超出了本文的范圍。這些接口在以下重要特性上有所不同：

帶寬/速度 - 圖像數(shù)據(jù)從相機(jī)傳輸?shù)教幚砥鞯乃俣扔卸嗫臁?/p>

延遲 - 圖像數(shù)據(jù)啟動后到完成之間的時間。延遲的變化通常是最重要的因素。

數(shù)據(jù)可靠性 - 如果數(shù)據(jù)在傳輸過程中損壞，接口是否能夠檢測到并進(jìn)行糾正？

電纜長度 - 可以使用多長的電纜，仍然具有足夠的帶寬和數(shù)據(jù)可靠性。

電纜/連接器 - 使用何種類型的電纜和連接器。許多標(biāo)準(zhǔn)提供了不同的電纜和連接器選項(xiàng)。大多數(shù)接口標(biāo)準(zhǔn)還支持使用光纖電纜。

幀抓取卡（圖像采集卡） - 接口是否需要使用一種特殊的適配器卡，稱為幀抓取卡。

電源 - 相機(jī)的電源是否可以通過與數(shù)據(jù)共用的同一電纜供應(yīng)。

另一個重要的接口標(biāo)準(zhǔn)是GenICam。GenICam不是物理標(biāo)準(zhǔn)，與電纜、數(shù)據(jù)傳輸速率等無關(guān)。它是關(guān)于相機(jī)向所連接的處理器提供相機(jī)特性信息的標(biāo)準(zhǔn)。根據(jù)GenICam，相機(jī)包含一個可以被處理器讀取的XML文件。該文件詳細(xì)描述了相機(jī)及其所有設(shè)置。處理器中的軟件可以查詢此文件，了解與相機(jī)進(jìn)行接口和控制所需的所有信息。即使來自同一制造商的不同相機(jī)在控制方式上也可能不同。GenICam使視覺系統(tǒng)開發(fā)人員無需關(guān)心連接的是哪種相機(jī)，從而可以編程開發(fā)應(yīng)用程序。

鏡頭

鏡頭是視覺系統(tǒng)的關(guān)鍵組件。它與相機(jī)的圖像傳感器一起決定了工作距離和包含場景的視場。鏡頭及其光圈還決定了有多少光能傳遞到圖像傳感器上，景深或?qū)狗秶约巴渡涞綀D像傳感器上的光學(xué)圖像中的細(xì)節(jié)分辨率。 大多數(shù)經(jīng)驗(yàn)豐富的機(jī)器視覺工程師已經(jīng)學(xué)會如何為大多數(shù)應(yīng)用選擇鏡頭。對于剛接觸機(jī)器視覺或者對于非常復(fù)雜的應(yīng)用，可能需要尋求經(jīng)驗(yàn)豐富的光學(xué)工程師的幫助。 有三種基本類型的鏡頭：普通或內(nèi)心鏡頭（圖22），微距鏡頭（圖23）和遠(yuǎn)心鏡頭（圖25）。大多數(shù)應(yīng)用可以通過使用內(nèi)心鏡頭來解決。這些鏡頭可以在一定范圍的工作距離內(nèi)調(diào)焦，延伸至無限遠(yuǎn)，并且通常具有可調(diào)光圈。

?

?

由于內(nèi)心鏡頭不能實(shí)現(xiàn)高放大倍數(shù)的近距離對焦，所以微距鏡頭被設(shè)計(jì)來滿足這個需求。放大倍數(shù)是圖像尺寸與成像場景尺寸之間的比例。微距鏡頭通常適用于0.05倍至10倍的放大倍數(shù)范圍。如果需要更高的放大倍數(shù)，顯微鏡通常是更好的選擇。 遠(yuǎn)心鏡頭是機(jī)器視覺中常用的特殊鏡頭。與內(nèi)心鏡頭不同，遠(yuǎn)心鏡頭在其景深范圍內(nèi)，其放大倍數(shù)基本保持不變。這意味著測量結(jié)果幾乎不受工件高度的輕微變化影響，并且沒有透視畸變。 雖然變焦鏡頭在機(jī)器視覺中似乎是理想的選擇，因?yàn)榭梢愿鶕?jù)需要設(shè)置所需的視場大小，但實(shí)際上它們只被稀少地使用。由于有一個額外的調(diào)整，很難確保鏡頭設(shè)置到正確的放大倍數(shù)，并且可能會影響校準(zhǔn)。此外，變焦鏡頭往往比內(nèi)聚焦鏡頭更大、更重，而且價格更高。

照明

對于必須可靠工作的機(jī)器視覺系統(tǒng)來說，良好的照明是至關(guān)重要的。這就是為什么工業(yè)機(jī)器視覺系統(tǒng)總是采用專門設(shè)計(jì)的照明，并盡量減少環(huán)境光的影響。 一些較新的發(fā)展，如自動駕駛車輛，幾乎完全使用環(huán)境光。 對于專門設(shè)計(jì)的照明，有幾種不同的照明技術(shù)。第一種是前照明（見圖24）或背照明（見圖26）。在前照明中，光源位于與相機(jī)相同的場景一側(cè)。在背照明中，光源位于與相機(jī)相反的場景一側(cè)。

?

照明中的另一個區(qū)分方式是明場和暗場（見圖27）。明場照明是指預(yù)期能夠反射（通過鏡子）或直接傳入相機(jī)視野的任何光線。

暗場照明是指放置光源的方式，以使其不會傳遞或反射（通過鏡子）到相機(jī)的視野中。 如圖28所示，照明技術(shù)的另一個區(qū)分方式是光線的指向性或擴(kuò)散性。定向光照亮場景上的每一點(diǎn)都使用單一光線，或者更常見的是使用一組光線，這些光線在非常狹窄的角度范圍內(nèi)傳播。

擴(kuò)散照明使用來自廣泛角度范圍的光束照亮場景上的每一點(diǎn)。 定向照明傾向于產(chǎn)生明顯的陰影，并使圖像中的紋理凸顯出來。擴(kuò)散照明會產(chǎn)生淡淡的陰影或不會有陰影，并消除使圖像中的紋理顯現(xiàn)的明暗效果。 照明設(shè)計(jì)的最后一個特征是顏色或所使用的光譜。大多數(shù)機(jī)器視覺系統(tǒng)在可見光范圍內(nèi)工作。對于單色成像，光源通常是紅色、綠色或藍(lán)色等窄帶波長。對于彩色成像，需要白光。越來越多的應(yīng)用使用紅外波長。由于人類無法在這個光譜區(qū)域內(nèi)看到，需要一些實(shí)驗(yàn)來了解其工作情況。紫外線光也常被使用，通常用于使零件發(fā)出熒光。 這意味著視覺系統(tǒng)工程師有各種各樣的光源可供選擇，涵蓋了各種尺寸、各種顏色，并提供了各種照明特性。要了解如何選擇合適的光源需要學(xué)習(xí)和經(jīng)驗(yàn)。初入機(jī)器視覺領(lǐng)域的人在選擇光源時最好與有經(jīng)驗(yàn)的人合作。

編輯：黃飛

?