“800萬像素”，“250m測(cè)距能力”等字眼頻繁出現(xiàn)在自動(dòng)駕駛相關(guān)的宣傳報(bào)道中，這源于自動(dòng)駕駛對(duì)感知能力“更遠(yuǎn)、更強(qiáng)”的不懈追求。車上不裝十幾個(gè)攝像頭，主機(jī)廠市場(chǎng)部小姐姐都沒底氣宣傳新車具備真正的高級(jí)輔助駕駛功能。而按照這種硬件堆疊的思路，在走到了自動(dòng)駕駛量產(chǎn)落地的那一刻，平平無奇的車身不知道會(huì)不會(huì)更名為“攝像頭車身”。

電子電氣架構(gòu)的分久必合，正在將車內(nèi)幾十個(gè)ECU往融合為個(gè)位數(shù)的域控制器方向發(fā)展，直至最終演變?yōu)橐粌蓚€(gè)高性能計(jì)算單元。而智駕域內(nèi)的傳感器大佬闊太太們，雖仍處在數(shù)量和性能同時(shí)無序增長的階段，但在可預(yù)見的時(shí)間節(jié)點(diǎn)，也終將走向融合與集中的發(fā)展道路。

對(duì)于相機(jī)一類傳感器來說，如果視場(chǎng)角足夠大，感知距離也在場(chǎng)景的需求范圍內(nèi)，那么再搭配上訓(xùn)練有素的感知算法，勢(shì)必將大大減少此種場(chǎng)景下相機(jī)的需求數(shù)量，同步提高獲取感知關(guān)聯(lián)數(shù)據(jù)的能力。而可能具有此種潛質(zhì)的選手，便是魚眼相機(jī)，一種已經(jīng)在環(huán)視和泊車場(chǎng)景中成熟應(yīng)用，并在ADAS場(chǎng)景中嶄露頭角的希望之星。

在環(huán)視場(chǎng)景中，魚眼相機(jī)通過將大角度范圍（180°）內(nèi)的光線，進(jìn)行壓縮、扭曲之后提供大角度范圍內(nèi)車輛周邊環(huán)境數(shù)據(jù)，并通過將多個(gè)相機(jī)圖像的拼接，去扭和變形之后實(shí)現(xiàn)低速場(chǎng)景下非常實(shí)用的360°全景影像功能。而在泊車場(chǎng)景下，通過和超聲波雷達(dá)融合，完成對(duì)停車線的識(shí)別，障礙物的檢測(cè)，從而實(shí)現(xiàn)不同等級(jí)的泊車功能。

伴隨著魚眼相機(jī)自身內(nèi)力的提升（支持光流及多目標(biāo)檢測(cè)等）、針對(duì)魚眼相機(jī)感知算法的突破，以及自動(dòng)駕駛到了拼價(jià)格刺刀的時(shí)候，魚眼相機(jī)有希望迎來在自動(dòng)駕駛舞臺(tái)上的“鯉魚躍龍門”時(shí)刻。自動(dòng)駕駛?cè)谠挼诙?，延續(xù)作者以往的風(fēng)格，選取當(dāng)前平平無奇，但有希望在未來一鳴驚人的魚眼相機(jī)來進(jìn)行一番吹噓。

成像原理

在前面介紹單目相機(jī)和雙目相機(jī)的文章中，我們了解到這兩位仁兄都是基于透鏡成像原理工作的。在對(duì)相機(jī)建模時(shí)，通常使用形象通俗的小孔成像模型進(jìn)行描述。 在小孔成像模型中，遵循相似成像準(zhǔn)則。物體在經(jīng)過射影變換之后成的像，保持了絕大部分幾何性質(zhì)不變。比如直線經(jīng)過變換之后仍是直線，曲線經(jīng)過變換之后仍是曲線，兩線交點(diǎn)變換過來后仍是兩線交點(diǎn)等等。而由于透鏡制造工藝誤差等原因引入的圖像畸變，我們總是想方設(shè)法校正掉。


另一方面，在小孔成像模型中，如果焦距一定，那么圖像傳感器像素平面的面積直接決定了相機(jī)視場(chǎng)角的大小，超過這個(gè)視場(chǎng)角范圍的物體不會(huì)被鏡頭獲取到。因此基于透鏡成像原理的相機(jī)，視場(chǎng)角無法做到足夠大，水平視場(chǎng)角一般小于140°。

但是在一些領(lǐng)域，比如氣象科學(xué)（這也是魚眼相機(jī)誕生的地方），科技工作者需要對(duì)天空天象變化進(jìn)行觀測(cè)，需要有一種相機(jī)能將整個(gè)半球形天空一次性拍攝下來。而在安防監(jiān)控領(lǐng)域，安保團(tuán)隊(duì)期望有一種相機(jī)能從俯視角度一次性拍攝整個(gè)監(jiān)控區(qū)域。而為了實(shí)現(xiàn)這些目的，就需要相機(jī)具有水平180°甚至更大的視場(chǎng)角能力。

就在科研人員陷入苦苦思索的時(shí)候，這個(gè)時(shí)候仿生學(xué)義無反顧站了出來。科學(xué)家們發(fā)現(xiàn)魚的眼睛在往上看的時(shí)候，可以看到水面上整個(gè)半球形空間。細(xì)究原因，科學(xué)家發(fā)現(xiàn)由于水的折射率比空氣大，光線由空氣進(jìn)入水中后會(huì)發(fā)生折射，且折射角比入射角要小。同時(shí)隨著入射角增加，折射角變小的程度也增加?；谶@個(gè)特性，水面上180°半球形空間的物體就可以被扭曲、壓縮到一個(gè)有限的成像平面上。



光學(xué)上有一個(gè)專業(yè)的術(shù)語來描述這種現(xiàn)象，叫“斯內(nèi)爾窗”。斯內(nèi)爾窗更準(zhǔn)確的描述為：從水下往上看，180°的視角會(huì)被壓成96°的光錐。受此現(xiàn)象啟發(fā)，人們發(fā)明了魚眼鏡頭，一種利用光的折射規(guī)律可以將很大范圍內(nèi)光線進(jìn)行壓縮和扭曲到一個(gè)相對(duì)較小空間內(nèi)的鏡頭，從而可以被后面相機(jī)圖像傳感器記錄下來，后續(xù)再通過去畸變，還原真實(shí)的圖像比例。

魚眼鏡頭設(shè)計(jì)的中心思想就是：擁有更大的球面弧度（超廣角），成像平面離透鏡更近（短焦距）。魚眼鏡頭視場(chǎng)角可以達(dá)到或者超過180°，因其視角超大，最終成像會(huì)有非常大的桶形畸變。魚眼鏡頭一般是由十幾個(gè)不同的透鏡組合而成，最前面的幾個(gè)透鏡直徑短且呈拋物狀，朝鏡頭前部凸出，主要負(fù)責(zé)折射，使入射角減小。其余的鏡頭相當(dāng)于一個(gè)成像鏡頭。





所以，魚眼相機(jī)是源于斯內(nèi)爾現(xiàn)象而發(fā)明出來的。但在魚眼鏡頭被設(shè)計(jì)出來后，人們發(fā)現(xiàn)極凸的造型非常像魚的眼睛。漸漸地，大家一聽到魚眼相機(jī)、魚眼鏡頭都以為是仿照魚的眼睛而設(shè)計(jì)的，可以說是一個(gè)美麗的巧合。

成像模型

前文提到，普通單目/雙目相機(jī)成像遵循的是相似成像準(zhǔn)則，真實(shí)世界中的直線仍被投影為圖像平面上的直線。而魚眼相機(jī)為了將盡可能大的真實(shí)世界投影到有限的成像平面內(nèi)，魚眼相機(jī)允許了畸變的存在，遵循的是非相似成像準(zhǔn)則。

在研究魚眼相機(jī)成像模型時(shí)，一般分解為兩個(gè)步驟。第一個(gè)步驟，將真實(shí)世界中的點(diǎn)投影到一個(gè)虛擬單位半球面上（如下圖中的w點(diǎn)投影到q點(diǎn)），球心與魚眼鏡頭坐標(biāo)系的原點(diǎn)重合；第二個(gè)步驟，將單位半球面上的點(diǎn)投影到相機(jī)成像平面上，這是一個(gè)非線性過程（如下圖q點(diǎn)到rd點(diǎn)）。






從相機(jī)成像模型示意圖可以看到，由于單位半球面上的q點(diǎn)投影到相機(jī)成像平面上的rd點(diǎn)是一個(gè)非線性過程，折射角θd小于入射角θ。而投影模型要表征的就是成像平面的像高rd和入射角θ之間的映射關(guān)系。前人在不斷失敗試錯(cuò)中，總結(jié)出了幾種投影模型，每種投影模型均對(duì)應(yīng)一種魚眼鏡頭類型。常用的投影模型有四種，分別是等距投影模型、等立體角投影模型、體視投影模型和正交投影模型。

和小孔成像模型一樣，為了便于數(shù)學(xué)分析，在投影模型中我們將成像平面對(duì)稱到鏡頭坐標(biāo)系上方區(qū)域。在下文介紹中，f為魚眼相機(jī)的焦距，θ為物體在空間中與光軸所成的入射角，rd為成像點(diǎn)到成像平面中心的成像高度。

（1）等距投影模型。

這是最簡單的一種投影模型，成像點(diǎn)到成像平面中心的成像高度rd與入射角度θ成正比，這個(gè)比例系數(shù)就是鏡頭焦距f，用公式表達(dá)即為 rd=f*θ。在這種投影模型中，入射光線之間的角度相同時(shí)，保持其對(duì)應(yīng)各投影點(diǎn)之間的間距相同，這也是這個(gè)投影模型名稱的來源。同時(shí)這種模型還可以解決在小孔成像下入射角90°時(shí)圖像無限拉伸的問題。畸變量適中，在工程領(lǐng)域被廣泛應(yīng)用。



（2）等立體角投影模型。

這是魚眼相機(jī)常用的一種投影模型，從名字就能領(lǐng)會(huì)此種投影模型真諦的一二。在虛擬單位半球形面上兩個(gè)相等立體角的入射面，在成像平面上的兩個(gè)像的面積相同。用公式表達(dá)為rd=2f*sin(θ/2)。



（3）體視投影模型。

這是一種保角不變投影模型，球形物面上的微小面元經(jīng)過體視投影后，其像仍然是一個(gè)小圓。因此這種投影模型對(duì)微小物體成像具有相似性。但是相似性帶來視場(chǎng)角不足的影響。用公式表示為rd=2f*tan(θ/2)。



（4）正交投影模型。

這種投影方式帶來的畸變最大，對(duì)邊緣物體壓縮最厲害近180°處的圖像信息幾乎全部丟失，且無法對(duì)180°以外的場(chǎng)景區(qū)域進(jìn)行描述，因此實(shí)際上很少使用。但這種投影模型不會(huì)產(chǎn)生透射映射的近大遠(yuǎn)小結(jié)果。用公式表達(dá)就是rd=f*sin(θ)。




畸變校正

對(duì)于相機(jī)類傳感器來說，畸變是必然存在的。而畸變校正就是尋找一個(gè)重映射矩陣來將原始圖像中的部分像素點(diǎn)或插值點(diǎn)進(jìn)行重新排列。當(dāng)然，不同的需求往往對(duì)應(yīng)不同的畸變校正方案。 對(duì)于單目相機(jī)來說，為了得到相機(jī)像素坐標(biāo)系和三維世界坐標(biāo)系的對(duì)應(yīng)關(guān)系，我們需要對(duì)相機(jī)的桶形畸變和枕形畸變進(jìn)行矯正。而對(duì)于雙目相機(jī)來說，為了做極線對(duì)齊，實(shí)現(xiàn)深度估計(jì)。我們需要將兩個(gè)相機(jī)，輸出變換到同一個(gè)坐標(biāo)系下。張正友老師的棋盤標(biāo)定法是目前上述兩類相機(jī)，矯正效果最好的方法。

而對(duì)于魚眼相機(jī)來說，徑向畸變太為嚴(yán)重，以至于我們都可以忽略其他方向的畸變。棋盤標(biāo)定法、橫向展開法、經(jīng)緯度法是魚眼相機(jī)常用的三種畸變校正方法。棋盤標(biāo)定法只能校正魚眼圖像中間的一部分，靠近圓周的區(qū)域會(huì)被拉伸的很嚴(yán)重導(dǎo)致視覺效果變差。所以棋盤標(biāo)定法一般用作簡單測(cè)量或圖像拼接的前置任務(wù)。

橫向展開法將俯視視角變?yōu)檎曇暯?，因此可以根?jù)區(qū)域功能，進(jìn)行切片，再用普通視角的檢測(cè)模型，做后續(xù)任務(wù)。但是缺點(diǎn)也一目了然，比如展開圖的左右兩側(cè)，在真實(shí)世界中應(yīng)該是連通的。所以當(dāng)有目標(biāo)在魚眼圖中穿過分界線時(shí)，在展開圖中該目標(biāo)會(huì)從左側(cè)消失，右側(cè)出現(xiàn)（或者倒過來），看起來不是很自然。

經(jīng)緯度法包含經(jīng)度和緯度兩個(gè)方面，對(duì)經(jīng)度進(jìn)行校正時(shí)，只對(duì)豎直方向進(jìn)行了校正，水平方向依然是扭曲的。而對(duì)緯度進(jìn)行校正時(shí)，水平方向可實(shí)現(xiàn)較好的校正，但豎直方向依然是扭曲的。這種方法可謂是魚和熊掌不可兼得。

行業(yè)進(jìn)展

2020年，華為推出的800萬像素超級(jí)魚眼攝像頭，采用自主視覺算法+玻璃模壓非均勻鏡頭，相比市面上200萬像素魚眼攝像頭，檢測(cè)距離翻倍、分辨率更高。官方宣稱，4個(gè)超級(jí)魚眼攝像頭，可以替代傳統(tǒng)4個(gè)側(cè)視+4個(gè)環(huán)視的高階360度感知方案，支持大FOV視角以及80米的環(huán)視檢測(cè)距離。

2021年7月，三星發(fā)布適用于車載環(huán)視系統(tǒng)或后視攝像頭的專用圖像傳感器ISOCELL Auto 4AC。該款圖像傳感器采用1/3.7英寸感光面積，120萬像素分辨率(1280x960) ，3.0μm像素尺寸，并內(nèi)置ISP圖像處理功能，可輸出YUV422，RGB888，RGB565圖像數(shù)據(jù)。同時(shí)支持120分貝高動(dòng)態(tài)范圍圖像，支持發(fā)光二極管閃爍抑制功能，可為自動(dòng)駕駛系統(tǒng)辨識(shí)車燈、交通信號(hào)燈提供更加準(zhǔn)確的數(shù)據(jù)。

2021年11月，法雷奧公司發(fā)布了世界上第一個(gè)面向量產(chǎn)的魚眼相機(jī)開源數(shù)據(jù)集WoodScape，整個(gè)數(shù)據(jù)集含10000多張圖片，旨在通過提供足夠的相關(guān)數(shù)據(jù)，推動(dòng)適應(yīng)自動(dòng)駕駛行車和泊車領(lǐng)域的魚眼相機(jī)視覺算法的深度開發(fā)，而不再停留在傳統(tǒng)的校正算法。

數(shù)據(jù)集是由幾輛法雷奧汽車在歐洲不同地理位置拍攝，每輛車上配備了四個(gè)魚眼相機(jī)，每個(gè)魚眼相機(jī)提供100萬像素24位分辨率，30幀/秒的圖像數(shù)據(jù)。數(shù)據(jù)集經(jīng)過人工標(biāo)注后可用于語義分割、深度估計(jì)、2D物體檢測(cè)、視覺測(cè)距、運(yùn)動(dòng)分割、污垢檢測(cè)以及端到端駕駛等任務(wù)訓(xùn)練。

小結(jié)

未來，伴隨著魚眼相機(jī)在像素、視場(chǎng)角、感知距離等性能參數(shù)方面的不斷突破，我相信沒有廠家愿意拒絕由此帶來的硬件成本較低和算力資源需求降低。魚眼相機(jī)在高速場(chǎng)景的江湖地位還不可預(yù)測(cè)，但在低速場(chǎng)景的領(lǐng)導(dǎo)能力，已經(jīng)開始凸顯。

審核編輯：劉清