傳感器和鏡頭的匹配設(shè)計 ? ?

奈奎斯特頻率成像

在奈奎斯特頻率下成像是吸引人的，該頻率在高級鏡頭選擇的等式1中定義。然而，這通常不是一個好主意，因?yàn)檫@意味著正在觀察的特征正好落在一個像素上。如果成像系統(tǒng)移動半個像素，則感興趣的對象將落在兩個像素之間，并且將完全模糊。因此，不建議在奈奎斯特頻率下成像。假設(shè)沒有使用子像素插值，通常建議在奈奎斯特頻率的一半處成像，因?yàn)檫@將允許感興趣的特征總是占據(jù)至少兩個像素。

通常不恰當(dāng)?shù)刈龀龅牧硪粋€假設(shè)是，除非鏡頭在與其一起使用的傳感器的奈奎斯特頻率下具有相當(dāng)大（>20%）的對比度，否則該鏡頭不適合與特定相機(jī)一起使用。事實(shí)并非如此。如前所述，在奈奎斯特極限下成像是不明智的，可能會產(chǎn)生幾個問題。需要查看整個系統(tǒng)，以確定鏡頭是否適合給定的相機(jī)傳感器，這通常取決于應(yīng)用。下一節(jié)將介紹在奈奎斯特頻率或接近奈奎斯特頻率時成像系統(tǒng)中發(fā)生的情況，以及對整體系統(tǒng)分辨率的影響。

理解相機(jī)傳感器和成像鏡頭之間的相互作用是設(shè)計和實(shí)現(xiàn)機(jī)器視覺系統(tǒng)的重要部分。這種關(guān)系的優(yōu)化常常被忽視，它對系統(tǒng)整體分辨率的影響很大。不正確配對的相機(jī)/鏡頭組合可能導(dǎo)致在成像系統(tǒng)上浪費(fèi)金錢。不幸的是，決定在任何應(yīng)用中使用哪個鏡頭和相機(jī)并不總是一件容易的事：更多的相機(jī)傳感器（直接結(jié)果是更多的鏡頭）繼續(xù)被設(shè)計和制造，以利用新的制造能力并提高性能。這些新的傳感器為鏡頭帶來了許多需要克服的挑戰(zhàn)，并使正確的相機(jī)與鏡頭配對變得不那么明顯。

第一個挑戰(zhàn)是像素繼續(xù)變小。雖然較小的像素通常意味著較高的系統(tǒng)級分辨率，但一旦考慮到所使用的光學(xué)器件，情況并非總是如此。在一個完美的世界里，系統(tǒng)中沒有衍射或光學(xué)誤差，分辨率將簡單地基于像素的大小和被觀察物體的大小（見分辨率）。簡而言之，當(dāng)像素尺寸減小時，分辨率增加。當(dāng)較小的對象可以適合較小的像素并且仍然能夠分辨對象之間的間距時，即使該間距減小，也會發(fā)生這種增加。這是一個關(guān)于相機(jī)傳感器如何檢測物體的過于簡化的模型，沒有考慮噪聲或其他參數(shù)。

鏡頭也有分辨率規(guī)格，但基本原理并不像傳感器那樣容易理解，因?yàn)闆]有像像素那樣具體的東西。然而，當(dāng)通過鏡頭成像時，有兩個因素最終決定特定物體特征在像素上的對比度再現(xiàn)（調(diào)制傳遞函數(shù)或MTF）：衍射和像差內(nèi)容。任何時候光通過光圈都會發(fā)生衍射，導(dǎo)致對比度降低（艾里斑和衍射極限中的更多細(xì)節(jié)）。像差是發(fā)生在每個成像鏡頭中的誤差，其根據(jù)像差的類型而模糊或錯位圖像信息，如真實(shí)世界性能中所述。對于快鏡頭（≤f/4），光學(xué)像差通常是系統(tǒng)偏離衍射極限所規(guī)定的“完美”的原因；在大多數(shù)情況下，如公式1所示，鏡頭在其理論截止頻率（ξcutoffξcutoff）下根本不起作用。

將這個等式與相機(jī)傳感器聯(lián)系起來，隨著像素頻率的增加（像素大小下降），對比度下降-每個鏡頭都會遵循這一趨勢。然而，這并不能說明鏡頭的真實(shí)硬件性能。鏡頭的公差和制造的緊密程度也將對鏡頭的像差內(nèi)容產(chǎn)生影響，并且真實(shí)世界的性能將不同于標(biāo)稱的設(shè)計性能。根據(jù)標(biāo)稱數(shù)據(jù)來估計真實(shí)世界鏡頭的表現(xiàn)可能會有差異，但實(shí)驗(yàn)室中的測試可以幫助確定特定鏡頭和相機(jī)傳感器是否兼容。

(1)

了解鏡頭在特定傳感器上的表現(xiàn)的一種方法是用美國空軍1951年的棒靶測試其分辨率。條形目標(biāo)比星形目標(biāo)更適合確定鏡頭/傳感器的兼容性，因?yàn)樗鼈兊奶卣髋c正方形（和矩形）像素排列得更好。以下示例顯示了使用相同的高分辨率50mm焦距鏡頭和相同的照明條件在三個不同的相機(jī)傳感器上拍攝的測試圖像。然后將每個圖像與鏡頭的標(biāo)稱軸上MTF曲線（藍(lán)色曲線）進(jìn)行比較。在這種情況下僅使用軸上曲線，因?yàn)闇y量對比度的感興趣區(qū)域僅覆蓋傳感器中心的一小部分。圖1A顯示了50mm鏡頭與具有2.2μm像素的1/2.51/2.5ON Semiconductor MT9P031配對時的性能，放大倍率為0.177倍。

圖1：（a）2.2μm像素的ONSemiconductor MT9P031、（B）3.45μm像素的SonyIXC655和（C）7.4μm像素的ONSemiconductorKai-4021上的高分辨率50mm鏡頭的標(biāo)稱鏡頭性能與實(shí)際性能的比較。紅線、紫線和深綠線分別表示傳感器的奈奎斯特極限。黃線、淺藍(lán)線和淺綠線分別表示傳感器奈奎斯特限值的一半。

使用分辨率公式1，傳感器的奈奎斯特分辨率（ξsensor）為227.7，這意味著系統(tǒng)在放大倍率為0.177x時理論上可以成像的最小物體為12.4μm（使用分辨率公式1的替代形式）。

(2)

請記住，這些計算沒有與之關(guān)聯(lián)的對比度值。圖1A的左側(cè)顯示了美國空軍1951目標(biāo)上的兩個元素的圖像；左圖顯示每個特征兩個像素，右圖顯示每個特征一個像素。在傳感器（227）的奈奎斯特頻率下，系統(tǒng)以8.8%的對比度對目標(biāo)成像，該對比度低于可靠成像系統(tǒng)所推薦的20%的最小對比度。注意，通過將特征尺寸增加兩倍至24.8μm，對比度增加了近三倍。在實(shí)際意義上，成像系統(tǒng)在奈奎斯特頻率的一半處將可靠得多。

(3)

成像系統(tǒng)不能可靠地對尺寸為12.4μm的物體特征進(jìn)行成像，這一結(jié)論與分辨率方程所示的結(jié)論截然相反，因?yàn)閺臄?shù)學(xué)上講，物體在系統(tǒng)的能力范圍內(nèi)。這一矛盾突出表明，一階計算和近似不足以確定成像系統(tǒng)是否能夠達(dá)到特定的分辨率。此外，奈奎斯特頻率計算并不是為系統(tǒng)的分辨率能力奠定基礎(chǔ)的可靠指標(biāo)，只能用作系統(tǒng)將具有的限制的指南。8.8%的對比度太低而不能被認(rèn)為是準(zhǔn)確的，因?yàn)闂l件的微小波動很容易將對比度降低到無法分辨的水平。

圖1B和1C顯示的圖像與MT9P031上的圖像類似，但使用的傳感器是索尼ICX655（3.45μm像素）和安森美半導(dǎo)體Kai-4021（7.4μm像素）。每個圖中的左側(cè)圖像顯示每個特征兩個像素，右側(cè)圖像顯示每個特征一個像素。這3個圖之間的主要區(qū)別在于，圖1B和1C的所有圖像對比度都在20%以上，這意味著（乍一看）它們在分辨該尺寸的特征時是可靠的。當(dāng)然，與圖1A中的2.2μm像素相比，它們可以分辨的最小尺寸對象更大。然而，在奈奎斯特頻率下成像仍然是不明智的，因?yàn)槲矬w的輕微移動可能會使兩個像素之間的所需特征發(fā)生偏移，從而使物體無法分辨。請注意，當(dāng)像素尺寸從2.2μm增加到3.45μm，再增加到7.4μm時，對比度從每個特征一個像素增加到每個特征兩個像素的影響較小。在ICX655（3.45μm像素）上，對比度變化略低于2倍；Kai-4021（7.4μm像素）進(jìn)一步減弱了這種影響。

圖2：在三種不同像素大小的相機(jī)傳感器上，使用相同的鏡頭和光照條件拍攝的圖像。頂部圖像以每個特征四個像素拍攝，底部圖像以每個特征兩個像素拍攝。

圖1中的一個重要差異是標(biāo)稱鏡頭MTF與實(shí)際圖像中的真實(shí)對比度之間的差異。圖1A頂部的鏡頭的MTF曲線顯示，當(dāng)產(chǎn)生的對比度值為8.8%時，鏡頭在頻率227處應(yīng)達(dá)到約24%的對比度。造成這種差異的主要因素有兩個：傳感器MTF和鏡頭公差。大多數(shù)傳感器公司不公布其傳感器的MTF曲線，但它們具有與鏡頭相同的一般形狀。由于系統(tǒng)級MTF是系統(tǒng)的所有部件的MTF的乘積，因此鏡頭和傳感器的MTF必須相乘在一起，以提供系統(tǒng)的整體分辨率能力的更精確的結(jié)論。

如上所述，鏡頭的公差MTF也是偏離標(biāo)稱值。所有這些因素共同改變了系統(tǒng)的預(yù)期分辨率，就其本身而言，鏡頭MTF曲線并不是系統(tǒng)級分辨率的準(zhǔn)確表示。

如圖2中的圖像所示，最佳系統(tǒng)級對比度出現(xiàn)在使用較大像素拍攝的圖像中。當(dāng)像素尺寸減小時，對比度顯著下降。一個好的最佳實(shí)踐是使用20%作為機(jī)器視覺系統(tǒng)中的最小對比度，因?yàn)榈陀谠搶Ρ榷鹊娜魏螌Ρ榷戎刀继菀资艿絹碜詼囟茸兓蛘彰鞔當(dāng)_的噪聲波動的影響。使用50mm鏡頭和圖1A中的2.2μm像素拍攝的圖像的對比度為8.8%，由于鏡頭即將成為系統(tǒng)中的限制因素，因此對于與2.2μm像素尺寸相對應(yīng)的物體特征尺寸，圖像數(shù)據(jù)太低，無法依賴圖像數(shù)據(jù)。像素遠(yuǎn)小于2.2μm的傳感器當(dāng)然存在，并且非常受歡迎，但遠(yuǎn)小于該尺寸的傳感器幾乎不可能讓光學(xué)器件分辨到單個像素級別。這意味著在分辨率中描述的方程對于幫助確定系統(tǒng)級分辨率在功能上變得毫無意義，并且類似于在上述圖中拍攝的圖像將不可能被捕獲。然而，這些微小的像素仍然有用處——僅僅因?yàn)楣鈱W(xué)不能分辨整個像素并不會使它們變得無用。對于某些算法，如斑點(diǎn)分析或光學(xué)字符識別（OCR），它不是關(guān)于鏡頭是否可以實(shí)際分辨到單個像素級別，而是關(guān)于可以在特定特征上放置多少像素。對于較小的像素，可以避免子像素插值，這將增加用它進(jìn)行的任何測量的精度。此外，當(dāng)切換到具有拜耳模式濾波器的彩色相機(jī)時，在分辨率損失方面的損失較小。

要記住的另一個要點(diǎn)是，從每個特征一個像素跳到每個特征兩個像素會產(chǎn)生大量的對比度，特別是在較小的像素上。盡管通過將頻率減半，最小可分辨物體的大小實(shí)際上增加了一倍。如果絕對有必要觀察到單像素水平，通常最好將光學(xué)放大倍數(shù)加倍，并將視場（FOV）減半。

這將導(dǎo)致特征尺寸覆蓋兩倍的像素，并且對比度將高得多。這種解決方案的缺點(diǎn)是整個場的可見度較低。從圖像傳感器的角度來看，最好的做法是保持像素大小，并將圖像傳感器的格式大小加倍。例如，使用具有2.2μm像素的?“傳感器的1倍放大成像系統(tǒng)將具有與使用具有2.2μm像素的1”傳感器的2倍放大系統(tǒng)相同的FOV和空間分辨率，但使用2倍系統(tǒng)，對比度理論上加倍。

不幸的是，將傳感器尺寸加倍會給鏡頭帶來額外的問題。成像鏡頭的主要成本驅(qū)動因素之一是其設(shè)計的格式尺寸。為較大規(guī)格的傳感器設(shè)計物鏡需要更多單獨(dú)的光學(xué)元件；這些部件需要更大，并且系統(tǒng)的公差需要更嚴(yán)格。繼續(xù)上面的例子，為1“傳感器設(shè)計的鏡頭的成本可能是為?”傳感器設(shè)計的鏡頭的五倍，即使它不能達(dá)到相同的像素限制分辨率規(guī)格。

審核編輯：黃飛

?