車載攝像頭:自動(dòng)駕駛之眼
車載攝像頭被譽(yù)為“自動(dòng)駕駛之眼”,是ADAS系統(tǒng)、汽車自動(dòng)駕駛領(lǐng)域的核心傳感設(shè)備。主要通過(guò)鏡頭和圖像傳感器實(shí)現(xiàn)圖像信息的采集功能,可實(shí)現(xiàn)360°視覺(jué)感知,并彌補(bǔ)雷達(dá)在物體識(shí)別上的缺陷,是最接近人類視覺(jué)的傳感器。
車載攝像頭在汽車領(lǐng)域應(yīng)用廣泛,從早期用于行車記錄、倒車影像、泊車環(huán)視逐步延伸到智能座艙內(nèi)行為識(shí)別和ADAS輔助駕駛,應(yīng)用場(chǎng)景日漸豐富。
當(dāng)前全球車載攝像頭行業(yè)CR3為41%,全球前十企業(yè)則占據(jù)了96%的市場(chǎng)份額,全球車載攝像頭行業(yè)集中度處于較高水平。
美國(guó)高速公路損失數(shù)據(jù)研究所(HLDI)預(yù)測(cè),到2030年接近50%的汽車將配備ADAS技術(shù)。
根據(jù)ICVTank,到2025年中國(guó)車載攝像頭行業(yè)規(guī)模有望達(dá)到230億,5年CAGR為30%;全球車載攝像頭市場(chǎng)規(guī)模將有望從2019年的112億美元增長(zhǎng)至2025年的至270億美元,5年CAGR 達(dá)15.8%。
自動(dòng)駕駛包括感知、判斷和執(zhí)行,而感知是整個(gè)過(guò)程的源頭,是自動(dòng)駕駛系統(tǒng)的重要模塊。在車輛行車過(guò)程中,感知系統(tǒng)會(huì)通過(guò)傳感器實(shí)時(shí)采集周邊環(huán)境的信息,相當(dāng)于自動(dòng)駕駛汽車的,可以幫助汽車實(shí)現(xiàn)類似于人類駕駛員一樣效果的觀察能力。
在自動(dòng)駕駛車輛中,感知系統(tǒng)主要由攝像頭、毫米波雷達(dá)、激光雷達(dá)感器構(gòu)成。攝像頭作為主要的環(huán)境感知傳感器起著非常重要的作用, 可以實(shí)現(xiàn) 360° 全面視覺(jué)感知,彌補(bǔ)雷達(dá)在物體識(shí)別上的缺陷,是最接近人類視覺(jué)的傳感器。因此是車載攝像頭是自動(dòng)駕駛領(lǐng)域的關(guān)鍵設(shè)備之一。
什么是車載攝像頭?
車載攝像頭主要的硬件結(jié)構(gòu)包括光學(xué)鏡頭(其中包含光學(xué)鏡片、濾光片、保護(hù)膜等)、圖像傳感器、圖像信號(hào)處理器 ISP、串行器、連接器等器件。其結(jié)構(gòu)示意圖如圖所示:
車載攝像頭的結(jié)構(gòu)構(gòu)成(圖片來(lái)源:安森美半導(dǎo)體公司)
車載攝像頭的結(jié)構(gòu)如上圖所示,放置車身外面的,就需要組成完整的攝像頭,如果是在車內(nèi)DVR,不用考慮防水,就可以組裝成上面的那種攝像頭模組。
上圖是我們比較常見(jiàn)的汽車上使用的相機(jī)模組的解剖。除了最外側(cè)的鋁殼以及密封圈和鏡頭之外,其實(shí)中間就是比較簡(jiǎn)單的幾層板的設(shè)計(jì),通常包括傳感器的sensor板,圖像處理器的小板,還包括一個(gè)串行器的板。為什么需要串行器,是因?yàn)橥ǔO鄼C(jī)傳感器或ISP的圖像數(shù)據(jù)輸出總線是MIPI CSI標(biāo)準(zhǔn),其特點(diǎn)是高速穿行,但是傳輸總線距離較短,否則無(wú)法保證信號(hào)的完整性。
所以在車輛上,我們需要將其轉(zhuǎn)換成例如GMSL等適合在車上長(zhǎng)距離傳輸?shù)母咚倏偩€標(biāo)準(zhǔn)進(jìn)行傳輸,所以相機(jī)模組內(nèi)部通常會(huì)通過(guò)串行板進(jìn)行總線的轉(zhuǎn)換。另外同軸電纜既可以用來(lái)為模組提供電源,也可以傳輸圖像數(shù)據(jù)。
光學(xué)鏡頭:負(fù)責(zé)聚焦光線,將視野中的物體投射到成像介質(zhì)表面,根據(jù)成像效果的要求不同,可能要求多層光學(xué)鏡片。濾光片可以將人眼看不到的光波段進(jìn)行濾除,只留下人眼視野范圍內(nèi)的實(shí)際景物的可見(jiàn)光波段。
圖像傳感器:圖像傳感器可以利用光電器件的光電轉(zhuǎn)換功能將感光面上的光像轉(zhuǎn)換為與光像成相應(yīng)比例關(guān)系的電信號(hào)。主要分為 CCD 和 CMOS 兩種。
ISP 圖像信號(hào)處理器:主要使用硬件結(jié)構(gòu)完成圖像圖傳感器輸入的圖像視頻源 RAW 格式數(shù)據(jù)的前處理,可轉(zhuǎn)換為 YCbCr 等格式。還可以完成圖像縮放、自動(dòng)曝光、自動(dòng)白平衡、自動(dòng)聚焦等多種工作。
串行器:將處理后的圖像數(shù)據(jù)進(jìn)行傳輸,可用于傳輸RGB、YUV等多種圖像數(shù)據(jù)種類。
連接器:用于連接固定攝像頭。
車載攝像頭在制造工藝及可靠性要求方面也要高于工業(yè)攝像頭和商用攝像頭,由于汽車需長(zhǎng)期工作在惡劣環(huán)境中,車載攝像頭需要在高低溫環(huán)境、強(qiáng)振動(dòng)、高濕熱等復(fù)雜工況環(huán)境下穩(wěn)定工作,對(duì)于工藝制造方面的要求主要如下:
車載攝像頭的工藝需求
耐高溫 :車載攝像頭需在-40℃~85℃范圍內(nèi)都能正常工作,且能適應(yīng)溫度的劇烈變化;
抗震:車輛在不太平坦的路面行駛會(huì)產(chǎn)生較強(qiáng)的震動(dòng),因此車載攝像頭必須能抗各種強(qiáng)度的震動(dòng);
防磁 :車輛啟動(dòng)時(shí)會(huì)產(chǎn)生極高的電磁脈沖,需要極高的防磁性能;
防水 :載攝像頭密封要非常嚴(yán)實(shí),滿足在雨水中浸泡數(shù)日仍可正常使用;
使用壽命 :使用壽命至少為8~10年才能滿足要求;
超廣角:側(cè)視環(huán)視攝像頭必須是超廣角的,水平視角達(dá) 135°;
高動(dòng)態(tài):車輛行駛速度快,攝像頭面對(duì)的光線環(huán)境變化劇烈且頻繁,要求攝像頭的CMOS 具有高動(dòng)態(tài)特性;
低噪點(diǎn):在光線較暗時(shí)能有效抑制噪點(diǎn),特別是要求側(cè)視和后視攝像頭即使在晚上也能清楚的捕捉影像。
車載智能前視像頭關(guān)鍵參數(shù)
探測(cè)距離
水平視場(chǎng)角
垂直視場(chǎng)角
分辨率 - 當(dāng)攝像機(jī)攝取等間隔排列的黑白相間條紋時(shí),在監(jiān)視器(比攝像機(jī)的分辨率要高)上能夠看到的最多線數(shù),當(dāng)超過(guò)這一線數(shù)時(shí),屏幕上就只能看到灰蒙蒙的一片,而不再能分辨出黑白相間的線條。
最低照度 - 即圖像傳感器對(duì)環(huán)境光線的敏感程度,或者說(shuō)是圖像傳感器正常成像時(shí)所需要的最暗光線。它是當(dāng)被攝物體的光照逐漸降低時(shí),攝像機(jī)的視頻信號(hào)電平低于標(biāo)準(zhǔn)信號(hào)最大幅值一半時(shí)的景物光照度值。
信噪比 - 輸出信號(hào)電壓與同時(shí)輸出的噪聲電壓的比值;
動(dòng)態(tài)范圍 - 攝像機(jī)拍攝的同一個(gè)畫(huà)面內(nèi),能正常顯示細(xì)節(jié)的最亮和最暗物體的亮度值所包含的那個(gè)區(qū)間。動(dòng)態(tài)范圍越大,過(guò)亮或過(guò)暗的物體在同一個(gè)畫(huà)面中都能正常顯示的程度也就越大。
與雷達(dá)技術(shù)對(duì)比有哪些優(yōu)勢(shì)
1)相比于毫米波雷達(dá),目前攝像頭的主要優(yōu)勢(shì)在于:
目標(biāo)識(shí)別與分類 - 目前普通的3D毫米波雷達(dá)僅可以檢測(cè)到前方是否有障礙物,而無(wú)法精準(zhǔn)識(shí)別障礙物的大小和類別;例如:各類車道線識(shí)別、紅綠燈識(shí)別以及交通標(biāo)志識(shí)別等;
可通行空間檢測(cè)(FreeSpace) - 對(duì)車輛行駛的安全邊界(可行駛區(qū)域)進(jìn)行劃分,主要對(duì)車輛、普通路邊沿、側(cè)石邊沿、沒(méi)有障礙物可見(jiàn)的邊界、未知邊界進(jìn)行劃分;
對(duì)橫向移動(dòng)目標(biāo)的探測(cè)能力 ,比如對(duì)十字路口橫穿的行人以及車輛的探測(cè)和追蹤;
定位與地圖創(chuàng)建 - 即視覺(jué)SLAM技術(shù),雖然目前也有用毫米波雷達(dá)做SLAM的,不過(guò)視覺(jué)SLAM技術(shù)更加成熟,也更有應(yīng)用前景;
2)在自動(dòng)駕駛系統(tǒng)中,激光雷達(dá)與攝像頭感知作用比較類似,但相比激光雷達(dá),其優(yōu)勢(shì)為:
紅綠燈識(shí)別及交通標(biāo)示識(shí)別
成本優(yōu)勢(shì),且算法及技術(shù)成熟度比較高
物體識(shí)別率高
車載攝像頭分布情況:
資料來(lái)源:CIOE中國(guó)光博會(huì)
目前車上搭載的車載攝像頭根據(jù)安裝位置主要分為車載攝像頭主要分為前視攝像頭、環(huán)視攝像頭、后視攝像頭、側(cè)視攝像頭以及內(nèi)置攝像頭五種類別。
前視攝像頭:主要安裝在前擋風(fēng)玻璃上,用于實(shí)現(xiàn)行車的視覺(jué)感知及識(shí)別功能,根據(jù)功能又可以分為前視主攝像頭、前視窄角攝像頭和前視廣角攝像頭。
前視主攝像頭:該攝像頭在 L2 的ADAS 系統(tǒng)中作為主攝像頭使用。其視場(chǎng)角的一般為 30°、50°、60°、100°、120°,檢測(cè)距離一般為 150 - 170 m,攝像頭輸出的格式為 RCCB 或 RCCC。
前視廣角攝像頭:該攝像頭的作用主要是識(shí)別距離較近的物體,主要用于城市道路工況、低速行駛等場(chǎng)景,其視場(chǎng)角在 120° - 150°,檢測(cè)距離在 50 m 左右。在后續(xù) 8MP 鏡頭大規(guī)模裝車后,無(wú)需該攝像頭。
前視窄角攝像頭:該攝像頭的主要作用是進(jìn)行紅綠燈、行人等目標(biāo)的識(shí)別,一般選用窄角鏡頭,可選擇 30 - 40° 左右的鏡頭。并且該鏡頭的像素一般和前視主攝像頭的鏡頭像素一致,該攝像頭采用窄角度,具有更高的像素密度和更遠(yuǎn)的檢測(cè)距離,一般可達(dá) 250 m 甚至可探測(cè)更遠(yuǎn)的距離。
在上了 8MP 攝像頭后,前視主攝像頭的 FOV 可達(dá) 120°,該攝像頭可能就不需要了。檢測(cè)距離在 60 m 左右。
環(huán)視攝像頭:主要安裝在車身四周,一般使用 4 - 8 個(gè)攝像頭,可分為前向魚(yú)眼攝像頭/左側(cè)魚(yú)眼攝像頭/右側(cè)魚(yú)眼攝像頭/后向魚(yú)眼攝像頭。用于全景環(huán)視功能的顯示,以及融合泊車功能的視覺(jué)感知及目標(biāo)檢測(cè);常用色彩矩陣為 RGGB,因?yàn)橛猩蔬€原的需求。
后視攝像頭:一般安裝在后備箱上,主要是實(shí)現(xiàn)泊車輔助。視場(chǎng)角在 120 - 140° 之間,探測(cè)距離大概 50 m。
側(cè)前視攝像頭:安裝在 B 柱或者車輛后視鏡處,該攝像頭的視場(chǎng)角一般為 90° - 100°,探測(cè)距離大概在 80 m 左右,這個(gè)攝像頭的主要作用是檢測(cè)側(cè)向車輛及自行車。
側(cè)后視攝像頭:一般安裝在車輛前翼子板處,該攝像頭的視場(chǎng)角一般為 90° 左右,探測(cè)距離也在 80 m 左右,主要用于車輛變道、匯入其它道路等場(chǎng)景應(yīng)用。
內(nèi)置攝像頭:主要用于監(jiān)測(cè)司機(jī)狀態(tài),實(shí)現(xiàn)疲勞提醒等功能。
其中,前視攝像頭價(jià)格相對(duì)較高,目前市場(chǎng)價(jià)格處在 300 - 500 元水平;其余攝像頭價(jià)格在 150 - 200 元左右。
主流廠商車載攝像頭搭載方案
從方案中我們可以看到,特斯拉的 8 個(gè)攝像頭均與行車系統(tǒng)有關(guān)聯(lián),這與其一直宣傳的不依靠激光雷達(dá)純視覺(jué)的自動(dòng)駕駛方案是有較大關(guān)聯(lián)的,特斯拉的這一套方案的最大優(yōu)勢(shì)就是:高性價(jià)比。特斯拉用了成本非常低的自研 1.2MP 攝像機(jī)就實(shí)現(xiàn)了 L2+ 級(jí)別的自動(dòng)駕駛。
小鵬 P7 使用了多個(gè)攝像頭,這一套方案的最大優(yōu)勢(shì)就是:可拓展性較強(qiáng)。前期方案在設(shè)計(jì)時(shí)需要提高硬件成本,但是在后期 OTA 升級(jí)后,其自動(dòng)駕駛功能具有非常好的兼容性和可拓展性。
通過(guò)這套傳感器模型,小鵬實(shí)現(xiàn)了具有較好體驗(yàn)的 L2+ 級(jí)別的自動(dòng)駕駛功能,包括小鵬極具特色的高速自主導(dǎo)航駕駛(NGP)和停車場(chǎng)記憶泊車功能。
奔馳 S 級(jí)是傳統(tǒng)主機(jī)廠方案的代表,雙目立體攝像頭方案是奔馳 S 級(jí)最大的優(yōu)勢(shì)。相比于單目攝像頭,雙目攝像頭可以計(jì)算當(dāng)前檢測(cè)目標(biāo)在 X、Y、Z 坐標(biāo)下的運(yùn)動(dòng)情況,判斷檢測(cè)目標(biāo)的姿態(tài)及目標(biāo)類型,奔馳在 L2 級(jí)別的 ADAS 功能的體驗(yàn)效果也比另外兩家好一些。
對(duì)已經(jīng)量產(chǎn)車型的攝像頭方案分析中,我們發(fā)現(xiàn)其都是使用中低像素?cái)z像頭來(lái)實(shí)現(xiàn)自動(dòng)駕駛功能。
車載攝像頭產(chǎn)業(yè)鏈
車載攝像頭產(chǎn)業(yè)鏈主要涉及上游材料、中游元件和下游產(chǎn)品三個(gè)主要環(huán)節(jié)。
上游材料中光學(xué)鏡片、濾光片和保護(hù)膜等用于制造鏡頭組,晶圓用于制造CMOS芯片和DSP信號(hào)處理器;在中游鏡頭組、CMOS芯片和膠合材料等組裝成模組,并和DSP信號(hào)處理器封裝成攝像頭產(chǎn)品。
在產(chǎn)業(yè)鏈的這一層,上游供應(yīng)商已經(jīng)可以向下游整車或一級(jí)供應(yīng)商客戶供應(yīng)完整的攝像頭產(chǎn)品。在車載攝像頭產(chǎn)業(yè)鏈中,攝像頭和軟件算法一起,構(gòu)成車載攝像頭解決方案,應(yīng)用于自動(dòng)駕駛汽車中。
目前車載攝像頭市場(chǎng)份額較大的公司均是全球領(lǐng)先的一級(jí)零部件供應(yīng)商,下游客戶基本覆蓋了全球主要的整車公司。
CMOS在車載攝像頭價(jià)值量成本占比最高,達(dá)到52%;模組封裝占比20%、光學(xué)鏡頭占比19%。
CMOS芯片
CMOS(CIS傳感器)是主流的車載車載攝像頭感光元件方案。相比于CCD感光元件,CMOS的成像質(zhì)量略遜一籌,但成本低、更省電,因此在像素要求不高的車載攝像頭領(lǐng)域廣受青睞。
CMOS制造產(chǎn)業(yè)鏈主要細(xì)分為設(shè)計(jì)、代工和封裝測(cè)試三個(gè)環(huán)節(jié),最后由模組廠采購(gòu)組裝,整合入攝像頭模組再出售給下游應(yīng)用廠商。
CMOS傳感器的構(gòu)成與關(guān)鍵參數(shù)
圖像傳感器的功能是光電轉(zhuǎn)換。關(guān)鍵的參數(shù)有像素、單像素尺寸、芯片尺寸、功耗。技術(shù)工藝上有前照式(FSI)、背照式(BSI)、堆棧式(Stack)等。
圖像傳感器從外觀看分感光區(qū)域(Pixel Array),綁線Pad,內(nèi)層電路和基板。感光區(qū)域是單像素陣列,由多個(gè)單像素點(diǎn)組成。每個(gè)像素獲取的光信號(hào)匯集在一起時(shí)組成完整的畫(huà)面。
CMOS芯片由微透鏡層、濾色片層、線路層、感光元件層、基板層組成。
CMOS芯片剖面圖
由于光線進(jìn)入各個(gè)單像素的角度不一樣,因此在每個(gè)單像素上表面增加了一個(gè)微透鏡修正光線角度,使光線垂直進(jìn)入感光元件表面。這就是芯片CRA的概念,需要與鏡頭的CRA保持在一點(diǎn)的偏差范圍內(nèi)。
電路架構(gòu)上,我們加入圖像傳感器是一個(gè)把光信號(hào)轉(zhuǎn)為電信號(hào)的暗盒,那么暗盒外部通常包含有電源、數(shù)據(jù)、時(shí)鐘、通訊、控制和同步等幾部分電路??梢院?jiǎn)單理解為感光區(qū)域(Pixel Array)將光信號(hào)轉(zhuǎn)換為電信號(hào)后,由暗盒中的邏輯電路將電信號(hào)進(jìn)行處理和一定的編碼后通過(guò)數(shù)據(jù)接口將電信號(hào)輸出。
由于CMOS芯片的像素層的設(shè)計(jì)工藝類似于模擬芯片,對(duì)制造工藝的要求較高,所以索尼、三星等龍頭企業(yè)均采用IDM模式,而豪威、格科微等中國(guó)企業(yè)多采用Fabless模式。
代工方面,臺(tái)積電、華力微、中芯國(guó)際、力晶、海力士等代工廠為全球CIS晶圓主要供應(yīng)商。
封測(cè)方面,目前全球CIS封測(cè)產(chǎn)能集中在中國(guó)臺(tái)灣,精材、勝麗、同欣電等廠商是主要CIS封測(cè)廠商,國(guó)內(nèi)晶方科技、華天科技等也具備CIS封測(cè)能力。
根據(jù)Yole數(shù)據(jù),2019年CIS下游市場(chǎng)增速中,汽車市場(chǎng)同比增長(zhǎng)41%,遠(yuǎn)遠(yuǎn)超過(guò)手機(jī)、計(jì)算機(jī)、安防、工控等其余主要領(lǐng)域。
CMOS的生產(chǎn)制造技術(shù)含量高,從全球市場(chǎng)來(lái)看,目前主要被外資企業(yè)所占據(jù)。
從競(jìng)爭(zhēng)格局來(lái)看,安森美以36%的市場(chǎng)份額占據(jù)第一,國(guó)內(nèi)企業(yè)豪威科技以22%位居第二,索尼、松下、三星緊隨其后,全球CIS Top3廠商供應(yīng)超過(guò)65%,行業(yè)集中度較高。國(guó)內(nèi)企業(yè)韋爾股份通過(guò)收購(gòu)豪威科技切入CIS領(lǐng)域,一舉成為CIS領(lǐng)域領(lǐng)先企業(yè)。
攝像頭圖像處理ISP初步介紹
我們看一看車載攝像頭模組的關(guān)鍵參數(shù),是不是還有幾個(gè)沒(méi)有闡述,比如白平衡、自動(dòng)增益控制、色彩還原等等,上述攝像頭描述就是主機(jī)控制,這里就有一個(gè)關(guān)鍵器件需要講解一下,圖像信號(hào)處理器ISP,這些活都是圖像處理器ISP需要干的活。
下圖展示了車載系統(tǒng)的基本組成:黃色的箭頭代表數(shù)據(jù)的傳輸,藍(lán)色的箭頭代表控制信號(hào)的傳輸。
相機(jī)的圖像處理流程大致是這樣的:
從相機(jī)感受到電荷之后,轉(zhuǎn)化成每個(gè)像素的數(shù)字信號(hào),它的輸出我們可以叫做一個(gè)bayer pattern,當(dāng)bayer pattern進(jìn)入到ISP之后,經(jīng)過(guò)一系列的圖像處理才會(huì)變成可以正常預(yù)覽或者拍照形成的圖像。
圖像處理中有一些比較關(guān)鍵的步驟,比如我們會(huì)做白平衡,因?yàn)槿搜鄣囊曈X(jué)會(huì)對(duì)所看見(jiàn)的顏色做一定的糾正,比如看在黃光照射的范圍里,我們看到的黃光打亮白紙不再是白紙。所以很重要的是白平衡的矯正,白平衡的矯正之后會(huì)做demosaic,將每個(gè)像素的全部顏色通道全部還原回來(lái)。
然后每個(gè)Sensor的特性或者因?yàn)橐恍┰驅(qū)е碌钠枰ㄟ^(guò)顏色校正的矩陣乘法來(lái)做更正。再之后需要轉(zhuǎn)到y(tǒng)cbcr域去做例如針對(duì)亮度通道或顏色通道的降噪或者補(bǔ)償。總體來(lái)說(shuō),這是一個(gè)非常簡(jiǎn)單的流程,實(shí)際上在車載應(yīng)用中的流程非常復(fù)雜,涉及到更多的如HDR多幀曝光,合成,tone mapping等算法。
ISP 放置的位置非常關(guān)鍵:
這里有的是會(huì)放置ISP圖像處理芯片在攝像頭這邊,把處理后的信號(hào)傳輸給到主機(jī),有的是不放置ISP芯片,由主機(jī)那邊的內(nèi)置ISP芯片進(jìn)行圖像處理,這樣攝像頭端的散熱會(huì)好很多,輻射也小。
比如倒車后視攝像頭,攝像頭距離主機(jī)距離都是5-8米,根據(jù)車身長(zhǎng)度決定,這部分一般是把ISP放置在攝像頭模組那端,這樣傳輸過(guò)來(lái)的信號(hào)都是ISP那邊進(jìn)行降噪處理后的信號(hào),抗干擾能力也更強(qiáng),缺點(diǎn)就是體積會(huì)變大,散熱要求非常高。
譬如有的行車記錄儀DVR攝像頭,這部分?jǐn)z像頭距離控制主機(jī)CPU非常近,而且對(duì)于造型要求也比較高,就會(huì)把ISP放置在CPU這邊(很多DVR的CPU都內(nèi)置了ISP芯片),無(wú)論是成本還是設(shè)計(jì)都是最優(yōu)方案。
前面有提到了,攝像頭出來(lái)的信號(hào)一定要經(jīng)過(guò)ISP處理,那ISP要怎么處理這些信號(hào),有哪些處理,這些其實(shí)都是涉及到色彩相關(guān)的內(nèi)容,首先我們進(jìn)行色彩相關(guān)內(nèi)容的科普,然后再講解ISP怎么處理這些信號(hào)。
camera sensor效果的調(diào)整,涉及到眾多的參數(shù),如果對(duì)基本的光學(xué)原理及sensor軟/硬件對(duì)圖像處理的原理能有深入的理解和把握的話,對(duì)我們的工作將會(huì)起到事半功倍的效果。否則,缺乏了理論的指導(dǎo),只能是憑感覺(jué)和經(jīng)驗(yàn)去碰,往往無(wú)法準(zhǔn)確的把握問(wèn)題的關(guān)鍵,不能掌握sensor調(diào)試的核心技術(shù),無(wú)法根本的解決問(wèn)題。
光學(xué)部件
鏡頭組中的光學(xué)器件(主要包括鏡片、濾光片、保護(hù)膜)對(duì)攝像頭所生成的圖像質(zhì)量方面起到了關(guān)鍵作用。
以一款車載DVR的隱藏式寬FOV角度的鏡頭為例子。
鏡筒的材質(zhì)一般都是金屬,但是也有塑膠的,金屬的鏡筒從質(zhì)量,耐高低溫等各項(xiàng)指標(biāo)都會(huì)更好,但是也有缺點(diǎn),金屬的套筒在螺絲扭的時(shí)候會(huì)產(chǎn)生金屬機(jī)械粉末,會(huì)有掉入到COMS感光區(qū)域的風(fēng)險(xiǎn),而且金屬的套筒硬度比較硬,底板打螺絲的時(shí)候容易導(dǎo)致底板有COMS芯片的PCBA變形,從而導(dǎo)致成像后的解析度發(fā)生變化。
鏡頭的材質(zhì)主要是兩種,一種是玻璃,一種是塑膠。
玻璃鏡片:以G為縮寫(xiě),面型多為球面,玻璃研磨加工;
塑膠鏡片:以P為縮寫(xiě),面型多為非球面,注塑加工。
鏡頭的材質(zhì)車載里面一般都是使用的是玻璃,玻璃的耐高溫,耐擦掛性能都非常好,表面硬度玻璃會(huì)好于塑膠,當(dāng)然玻璃也有缺點(diǎn),價(jià)格貴,而且攝像頭整體的厚度變厚了,但是在車載里面這些相對(duì)于性能要求而言,都必須要使用到玻璃鏡頭,所以這里可以看到6G,就是使用6個(gè)玻璃片。
鏡頭的光學(xué)參數(shù)講解
焦距(Focal Length或EFFL)
是指一個(gè)光學(xué)系統(tǒng)從起像方主面到焦點(diǎn)間的距離, 它反映了一個(gè)光學(xué)系統(tǒng)對(duì)物體聚焦的能力。
BFL 后焦
鏡頭最后一鏡片面到成像面的距離
這里的如上圖所示是 5.85mm;
Mechanical BFL法蘭距
鏡筒端(前/后)到成像面的距離
這里如上圖所示是 5.08mm±0.2mm
鏡頭總長(zhǎng)和光學(xué)總長(zhǎng)(TTL):
光學(xué)總長(zhǎng)是指從系統(tǒng)第一個(gè)鏡片表面到像面的距離; 而鏡頭總長(zhǎng)是指最前端表面(一般指Barrel表面)到像面(例如Sensor表面)的距離.一般來(lái)說(shuō), 鏡頭太長(zhǎng)或太短其設(shè)計(jì)都會(huì)變得困難, 制造時(shí)對(duì)工藝要求較高,這個(gè)鏡頭的總長(zhǎng)度是22.7mm±0.3mm。
相對(duì)孔徑(FNo.)
一個(gè)光學(xué)系統(tǒng)成像亮度指標(biāo), 一般簡(jiǎn)稱F數(shù)(如傳統(tǒng)相機(jī)上所標(biāo)識(shí)), 在同樣的光強(qiáng)度照射下, 其數(shù)值越小, 則像面越亮, 其數(shù)值越大, 則像面越暗. 對(duì)于一般的成像光學(xué)系統(tǒng)來(lái)說(shuō), F2.0-3.2就比較合適, 如果要求F數(shù)越小, 則設(shè)計(jì)越難, 結(jié)構(gòu)越復(fù)雜, 制造成本就越高。這里的FNo為F2.1。
視場(chǎng)角(FOV):
一個(gè)光學(xué)系統(tǒng)所能成像的角度范圍. 角度越大, 則這個(gè)光學(xué)系統(tǒng)所能成像的范圍越寬, 反之則越窄. 在實(shí)際產(chǎn)品當(dāng)中, 又有光學(xué)FOV和機(jī)械FOV之分, 光學(xué)FOV是指SENSOR或膠片所能真正成像的有效FOV范圍, 機(jī)械FOV一般大于光學(xué)FOV, 這是有其他考慮和用途, 比如說(shuō)需要用機(jī)械FOV來(lái)參考設(shè)計(jì)Module或者手機(jī)蓋的通光孔直徑大小。
這里的FOV角度理論上是越大越好,比如做隱藏式行車記錄儀DVR的攝像頭,這個(gè)時(shí)候就需要記錄到的兩邊的圖像越寬越好,越方便信息的完整性。當(dāng)然這個(gè)FOV的角度直接影響到最終攝像頭測(cè)距的距離,所以這個(gè)FOV角度也是最好根據(jù)攝像頭的實(shí)際應(yīng)用來(lái)選擇。
光學(xué)畸變(Opt distortion)和TV畸變(TV distortion):
畸變是指光學(xué)系統(tǒng)對(duì)物體所成的像相對(duì)于物體本身而言的失真程度.光學(xué)畸變是指光學(xué)理論上計(jì)算所得到的變形度。
TV畸變則是指實(shí)際拍攝圖像時(shí)的變形程度, DC相機(jī)的標(biāo)準(zhǔn)是測(cè)量芯片(Sensor)短邊處的變形.一般來(lái)說(shuō)光學(xué)畸變不等于TV畸變, 特別是對(duì)具有校正能力的芯片來(lái)說(shuō). 畸變通常分兩種: 桶形畸變和枕形畸變,比較形象的反映畸變的是哈哈鏡,使人變得又高又瘦的是枕型畸變,使人變得矮胖的是桶型畸變。
這個(gè)一般都比較重視的是TV失真,越小越好,這樣對(duì)于后面芯片的處理也就越簡(jiǎn)單,這里的鏡頭的TV失真是小于21%。
相對(duì)照度(Relative illumination又簡(jiǎn)寫(xiě)為RI):
它是指一個(gè)光學(xué)系統(tǒng)所成像在邊緣處的亮度相對(duì)于中心區(qū)域亮度的比值, 無(wú)單位. 在實(shí)際測(cè)量的結(jié)果中, 它不僅同光學(xué)系統(tǒng)本身有關(guān), 也同所使用的感光片(SENSOR)有關(guān). 同樣的鏡頭用于不同的芯片可能會(huì)有不同的測(cè)量結(jié)果.
這個(gè)車載鏡頭的RI指標(biāo)是≥53%。
CRA 主光線出射角通過(guò)光闌中心光線的成像面入射角
不同的視場(chǎng)具有不同的CRA值,將所有視場(chǎng)的CRA做成一條曲線,即
所謂的CRA曲線。圖紙中所示的CRA值為Sensor有效像高處的數(shù)值。
MTF:
它從一定程度上反映了一個(gè)光學(xué)系統(tǒng)對(duì)物體成像的分辨能力.一般來(lái)說(shuō), MTF越高, 其分辨力越強(qiáng), MTF越低, 其分辨力越低.由于MTF也只是從一個(gè)角度來(lái)評(píng)價(jià)鏡頭的分辨率,也存在一些不足, 故在目前的生產(chǎn)中, 大多數(shù)還是以逆投影檢查分辨率為主。
IR Filter(濾光片):
它主要用于調(diào)整整個(gè)系統(tǒng)的色彩還原性. 它往往隨著芯片的不同而使用不同的波長(zhǎng)范圍, 因?yàn)樾酒瑢?duì)不同波長(zhǎng)范圍的光線其感應(yīng)靈敏度不一樣.對(duì)于目前應(yīng)用較廣的CMOS和CCD感光片它非常重要, 早期的CCD系統(tǒng)中, 采用簡(jiǎn)單的IRF往往還不能達(dá)到較好的色彩還原性效果。
IR-Cut:透過(guò)率為50%時(shí)的紅外光線頻率,650±10nm @ T=50%
所以這里可以看到車載攝像頭的鏡頭的紅外濾光片基本上都是650nm±10nm的濾光片。
IR鍍膜的規(guī)格對(duì)鏡頭的色彩還原性有較大的影響,另外結(jié)合sensor的特性,對(duì)鍍膜進(jìn)行優(yōu)化,會(huì)改善鏡頭色彩還原能力,所以在有的攝像頭拍照出來(lái)的色彩還原效果比較差的時(shí)候,軟件優(yōu)化都無(wú)能為力的時(shí)候,可以考慮IR鍍膜來(lái)調(diào)整。
鏡頭主要用于將圖像聚焦到傳感器上,作為核心元件,其壁壘在于焦距、視場(chǎng)角、光圈、畸變、相對(duì)照度、分辨率等。由于室外環(huán)境嚴(yán)苛,車載鏡頭在形狀上要有良好的熱穩(wěn)定性,所以鏡頭主要使用玻璃而非塑膠材質(zhì)。
光學(xué)部件行業(yè)整體處于成熟期,行業(yè)集中度相對(duì)較高,大多是傳統(tǒng)的相機(jī)鏡頭生產(chǎn)商。根據(jù)Yole Development, 全球CR4約為40%~50%左右。
在全示車載攝像頭鏡頭組全球市場(chǎng),舜宇光學(xué)占據(jù)第一的市場(chǎng)份額,2004年開(kāi)始布局車載鏡頭市場(chǎng),2012年開(kāi)始做到了全球車載鏡頭出貨量的第一并保持,跟隨其后的主要產(chǎn)商包括日本世光、日本康達(dá)智、富士膠片等。
國(guó)內(nèi)光學(xué)鏡頭領(lǐng)域主要廠商主要有聯(lián)創(chuàng)電子、歐菲光、福光股份、力鼎光電等。
水晶光電(濾光片、保護(hù)膜)、歐菲光(濾光片)、海泰(保護(hù)膜)等企業(yè)正在向海外龍頭發(fā)起挑戰(zhàn),在國(guó)內(nèi)新勢(shì)力崛起的背景下,有望乘“車載”之東風(fēng),引領(lǐng)光學(xué)部件環(huán)節(jié)的國(guó)產(chǎn)替代。
攝像頭模組封裝
車載攝像頭模組的封裝工藝難度高于手機(jī),首要需保障駕駛安全,對(duì)其在駕駛期間、不同工作環(huán)境下的使用穩(wěn)定性有較高的要求。因此,相比其他領(lǐng)域,車載攝像頭的產(chǎn)品安全標(biāo)準(zhǔn)更高,生產(chǎn)技術(shù)要求更高,工藝難度大。
從競(jìng)爭(zhēng)格局來(lái)看,當(dāng)前全球車載攝像頭行業(yè)市場(chǎng)份額前三為松下、法雷奧和富士通:其中松下所占市場(chǎng)份額最大,達(dá)到20%;法雷奧和富士通的市占率分別為11%和10%。
全球主要攝像頭供應(yīng)商的客戶情況:
資料來(lái)源:東方證券
該領(lǐng)域主要玩家還包括:信利國(guó)際、??低?/u>、比亞迪、聯(lián)合光學(xué)、德賽西威等。
車載攝像頭的未來(lái)改善需求
攝像頭的像素大幅提升,帶來(lái)的不光光是對(duì)芯片算力等性能的要求,還帶來(lái)了對(duì)于功率、熱管理等層面的需求。為了實(shí)現(xiàn)更好的性能,攝像頭需要更大功率的電源,因此攝像頭熱管理也是一個(gè)需要考慮的大問(wèn)題。傳統(tǒng)攝像頭基本都是使用內(nèi)置 ISP,但一些行業(yè)也在使用無(wú) ISP 的攝像頭模組,數(shù)據(jù)直接傳輸?shù)接?a target="_blank">控制器,由外部 ISP 進(jìn)行處理。
ISP 是攝像頭產(chǎn)生熱量和提升功耗的主要元器件,部分公司提出把 ISP 集成到控制器中進(jìn)行熱管理。
例如安波福提出的解決方案是攝像頭保留光學(xué)鏡頭和圖像傳感器部分,將 ISP 移動(dòng)到相應(yīng)的控制器主板中,通過(guò)以太網(wǎng)來(lái)進(jìn)行數(shù)據(jù)傳輸。很多圖像傳感器制造商在把 ISP 模塊從攝像頭模組中移除,來(lái)限制攝像頭的功耗和熱量產(chǎn)生。
與此同時(shí),ISP 被集成到專用的視覺(jué)處理器(SoC)中,可以提高圖像的成像質(zhì)量,并且可以同時(shí)處理多個(gè)攝像頭的數(shù)據(jù),以此來(lái)降低成本。
相信未來(lái)單個(gè)高精度攝像頭的成本會(huì)出現(xiàn)大幅下降,后續(xù)當(dāng)高精度攝像頭成為標(biāo)配時(shí),整體成本會(huì)有比較大的下降空間。
附:特斯拉圖像識(shí)別原理闡述
特斯拉利用8個(gè)攝像頭來(lái)識(shí)別現(xiàn)實(shí)世界中的物體。攝像頭獲取的圖像包括行人、其他車輛、動(dòng)物或障礙物,這不僅對(duì)特斯拉車輛駕駛員的安全很重要,對(duì)其他人也很重要。專利稱,重要的是,攝像頭能夠及時(shí)準(zhǔn)確地識(shí)別這些物體。
特斯拉專利框
特斯拉專利演示
從算法的代碼層面來(lái)說(shuō),特斯拉把它們的深度學(xué)習(xí)網(wǎng)絡(luò)稱為HydraNet。其中,基礎(chǔ)算法代碼是共享的,整個(gè)HydraNet包含48個(gè)不同的神經(jīng)網(wǎng)絡(luò),通過(guò)這48個(gè)神經(jīng)網(wǎng)絡(luò),就能輸出1000個(gè)不同的預(yù)測(cè)張量。理論上來(lái)說(shuō),特斯拉的這個(gè)超級(jí)網(wǎng)絡(luò),能同時(shí)檢測(cè)1000種物體。完成這些運(yùn)算并不簡(jiǎn)單,特斯拉已經(jīng)耗費(fèi)了7萬(wàn)個(gè)GPU小時(shí)進(jìn)行深度學(xué)習(xí)模型訓(xùn)練。
雖然工作量很大,但由于大部分工作由機(jī)器承擔(dān),特斯拉的人工智能團(tuán)隊(duì)僅由幾十人組成,與其他自動(dòng)駕駛公司數(shù)百人甚至數(shù)千人的規(guī)模相比,確實(shí)規(guī)模不大。
完成2D的圖像還不算牛掰的,畢竟云端有超級(jí)計(jì)算機(jī)可以去訓(xùn)練,本地的芯片也是自己開(kāi)發(fā)的,可以很好的匹配算法,特斯拉真正牛掰的地方,通過(guò)視覺(jué)完成3D的深度信息,并可以通過(guò)視覺(jué)建立高精度地圖,完成一些底下停車場(chǎng)的附件駕駛場(chǎng)景。
特斯拉全車共配備了8個(gè)攝像頭,一個(gè)毫米波雷達(dá)和12個(gè)超聲波雷達(dá),監(jiān)測(cè)外部環(huán)境,向自動(dòng)駕駛電腦實(shí)時(shí)傳送信息。
特斯拉車外傳感器
簡(jiǎn)單來(lái)看,特斯拉的攝像頭、毫米波雷達(dá)、超聲波雷達(dá)以及慣性測(cè)量單元記錄下當(dāng)前車輛所處的環(huán)境數(shù)據(jù),并將數(shù)據(jù)發(fā)送給特斯拉的自動(dòng)駕駛電腦。自動(dòng)駕駛電腦在進(jìn)行算法的計(jì)算之后,將速度和方向信息傳遞給轉(zhuǎn)向舵以及加速、制動(dòng)踏板,實(shí)現(xiàn)對(duì)車輛的控制。
不過(guò),在日常行駛過(guò)程中,攝像頭作為傳感器捕捉的內(nèi)容都是二維圖像,并沒(méi)有深度信息。
也就是說(shuō),雖然二維圖像已經(jīng)可以區(qū)分公路和路旁的人行道,但并不知道現(xiàn)在車輛距離“馬路牙子”還有多遠(yuǎn)。由于缺失這樣一個(gè)重要信息,自動(dòng)駕駛的運(yùn)算可能并不準(zhǔn)確,操作可能出錯(cuò)。因此,捕捉或者建立一個(gè)三維的圖景很有必要。
特斯拉使用三目相機(jī)的,它可以通過(guò)比較兩個(gè)攝像頭圖像的差異判斷物體的遠(yuǎn)近,獲得物體的深度信息。通過(guò)中央處理器對(duì)輸入圖像進(jìn)行感知、分割、檢測(cè)、跟蹤等操作,輸出給導(dǎo)航網(wǎng)絡(luò)端進(jìn)行語(yǔ)義建圖及匹配定位,同時(shí)通過(guò)目標(biāo)識(shí)別形成相應(yīng)的ADAS系統(tǒng)目標(biāo)屬性。
特斯拉還有更厲害的地方,那就是算法可以預(yù)測(cè)流媒體視頻中每一個(gè)像素的深度信息。也就是說(shuō),只要算法足夠好,流媒體視頻更加清晰,特斯拉的視覺(jué)傳感器所捕捉的深度信息甚至可以超過(guò)激光雷達(dá)。
在實(shí)際的自動(dòng)駕駛應(yīng)用中,泊車入位和智能召喚兩個(gè)使用場(chǎng)景下就能充分利用這套算法。在停車場(chǎng)行駛時(shí),車輛之間的距離很小,即使是駕駛員駕駛,稍不留神也很容易出現(xiàn)刮蹭事故。對(duì)于機(jī)器來(lái)說(shuō),停車場(chǎng)場(chǎng)景的行駛更加困難。在預(yù)測(cè)到深度信息之后,車輛可以在超聲波雷達(dá)的輔助之下,快速完成對(duì)周圍環(huán)境的識(shí)別,車輛泊車就會(huì)更加順利。
在完成深度信息的預(yù)測(cè)之后,這部分信息會(huì)顯示在車機(jī)上,同時(shí)也會(huì)直接參與控制轉(zhuǎn)向、加速、制動(dòng)等駕駛動(dòng)作。不過(guò),轉(zhuǎn)向、加速、制動(dòng)這些駕駛策略沒(méi)有固定的規(guī)則,有一定靈活性。因此,自動(dòng)駕駛的駕駛策略沒(méi)有最佳,只有更好。
編輯:黃飛
?
評(píng)論
查看更多