導讀

車載多相機采集系統(tǒng)是智能駕駛技術實際應用中的“眼睛”，友思特車載圖像采集和回放系統(tǒng)切實提升了系統(tǒng)的實時同步采集與回放能力，為ADAS等應用的決策系統(tǒng)提供了可靠的核心數(shù)據(jù)。

視頻流同步采集與智駕技術發(fā)展

在現(xiàn)代汽車行業(yè)中，智能駕駛技術正以驚人的速度發(fā)展，引領著交通領域的革新。這一技術的崛起，不僅改變了傳統(tǒng)駕駛方式，更在安全性、舒適性和效率方面帶來了前所未有的提升。作為智能駕駛技術的核心組成部分，車載多相機系統(tǒng)發(fā)揮著舉足輕重的作用。它們通過高精度、高速度的圖像捕捉與處理，為車輛提供了全方位、無死角的視覺感知能力，從而極大地增強了駕駛過程中的環(huán)境感知和決策準確性。

隨著科技的不斷進步，車載多相機系統(tǒng)也在不斷升級和完善，以適應更為復雜多變的駕駛場景。為了實現(xiàn)高級駕駛輔助系統(tǒng)（ADAS）和自動駕駛的精準功能，車載多相機系統(tǒng)必須確保視頻流的同步采集。車輛上傳感器和相機數(shù)量的不斷增多的現(xiàn)狀，對視頻流的實時處理和數(shù)據(jù)融合技術也提出了更為嚴苛的要求。這種技術的創(chuàng)新，不僅關乎車輛的安全性能，更在自動駕駛的精確感知與決策中發(fā)揮著不可或缺的作用。因此，探索先進的同步采集方案，以實現(xiàn)車載多相機系統(tǒng)數(shù)據(jù)的高效處理，已成為推動智能駕駛技術發(fā)展的當務之急。

圖1. 車載多相機數(shù)采系統(tǒng)（圖片來源：Solectrix官網(wǎng) https://solectrix.de/en/）

為了適配智能駕駛技術的數(shù)采要求，市場上各色的采集板卡、采集系統(tǒng)和方案層出不窮。首先為了同時采集多路實時視頻數(shù)據(jù)，采集板卡/系統(tǒng)對通道數(shù)量進行了拓展，從傳統(tǒng)的一兩路視頻數(shù)據(jù)，拓展至4/6/8/16路視頻數(shù)據(jù)；在異步的場合，基于先前收集的真實環(huán)境數(shù)據(jù)或仿真的自動駕駛數(shù)據(jù)，板卡/系統(tǒng)需要回放帶有時間戳的視頻數(shù)據(jù)，用于諸如硬件在環(huán)（HiL）測試的場合，同時也對通道數(shù)量進行了拓展；在同步的場合，采集數(shù)據(jù)的同時，需要旁通數(shù)據(jù)，將同樣的數(shù)據(jù)鏡像同時分路，用于諸如存儲、處理、顯示等目的，也同樣對通道數(shù)量進行了拓展，進一步滿足多樣化的需求。下圖為友思特車載采集卡視頻數(shù)據(jù)采集回放經(jīng)典配置：

a.采集模式：同時最多8個視頻流 b. 回放模式：同時最多4個視頻流 c.TAP模式：同時最多4個視頻流輸入和輸出

多路數(shù)據(jù)滿足多相機實時采集的同時，對硬件性能如帶寬、實時性和數(shù)據(jù)傳輸協(xié)議也提出了高要求。在硬件性能上，息息相關的是最終產(chǎn)品的價格，影響的是產(chǎn)品應用過程中的性能上限；而數(shù)據(jù)傳輸協(xié)議，則是關乎數(shù)據(jù)傳輸實時性、準確率、實際傳輸速率的核心技術點。友思特 proFRAME 車載采集和回放板卡，應用了SerDes技術，為車載多相機的實時采集和記錄回放提供了一種可行可靠的技術路線。

SerDes原理結構

SerDes核心包括串行器（Serializer）和解串器（Deserializer），是一種用于高速數(shù)據(jù)傳輸?shù)?a target="_blank">接口技術。它通過將并行數(shù)據(jù)流轉換為串行數(shù)據(jù)流，從而提高數(shù)據(jù)傳輸速率，并在接收端再將串行數(shù)據(jù)流轉換回并行數(shù)據(jù)流。核心工作原理包括兩部分：

串行化：SerDes的發(fā)送端（串行器）從本地系統(tǒng)接收并行數(shù)據(jù)作為輸入，通過FIFO傳遞給內(nèi)部的編碼器、擾碼器，然后將其轉換為串行數(shù)據(jù)并將其作為單個數(shù)據(jù)流，經(jīng)由均衡器均衡后通過同軸或雙絞線電纜等串行傳輸通道進行傳輸。這種方式能顯著提高數(shù)據(jù)傳輸效率。串行化數(shù)據(jù)時，串行器使用參考時鐘的輸入作為編碼過程的一部分，從而最大限度地減少并行傳輸中發(fā)現(xiàn)的時序問題類型。

反串行化：SerDes的接收端（解串器）接收串行數(shù)據(jù)作為輸入，經(jīng)由均衡器均衡，通過CDR（時鐘恢復）恢復時鐘信號，并將其轉換恢復為對齊的并行數(shù)據(jù)流輸出，以便進一步處理。

圖3. SerDes原理（圖片來源：維基百科https://en.wikipedia.org/wiki/SerDes）

SerDes技術在現(xiàn)代數(shù)據(jù)傳輸中發(fā)揮了關鍵作用。它通過將高帶寬的并行數(shù)據(jù)流轉換為串行信號，實現(xiàn)了更高的數(shù)據(jù)傳輸速率和更長的傳輸距離。此技術有效減少了電路板上的布線復雜性，從而降低了系統(tǒng)成本和功耗，并提升了系統(tǒng)的可靠性。SerDes還支持長距離傳輸，增強了信號的抗干擾能力，使得數(shù)據(jù)完整性得以保持。通過優(yōu)化數(shù)據(jù)傳輸路徑和提高速率，SerDes技術顯著提升了系統(tǒng)性能，廣泛應用于通信、計算機和存儲領域，為高效、穩(wěn)定的數(shù)據(jù)傳輸提供了重要保障。

友思特車載圖像采集和回放系統(tǒng)

為了獲取汽車的 360° 全景環(huán)視圖像，需要在汽車的前后左右各設置一個或多個相機。以分辨率為3840*2160、幀率為60、輸出圖像數(shù)據(jù)格式為 RAW10 為例，單路視頻數(shù)據(jù)傳輸帶寬要求 ≥5 Giga bit/s。

傳輸鏈路①：相機實時獲取的視頻流數(shù)據(jù)→車載 ADAS/AD ECU：

前端 GMSL/FPD-Link 相機的 CMOS 圖像傳感器捕獲光信號并轉換為電信號，生成原始圖像數(shù)據(jù)。在相機內(nèi)部經(jīng)過處理（如去噪、增益、色彩校正等）后通過相機的串行芯片進行串行化，轉為 CSI-2 標準的數(shù)據(jù)格式，通過同軸線纜（Coax）傳輸?shù)?proFRAME 板卡，經(jīng)過相機適配器的解串芯片進行解碼，將串行數(shù)據(jù)流恢復成并行的 CSI-2 圖像數(shù)據(jù)格式，傳送至板卡的 FPGA 模塊進行處理。圖像數(shù)據(jù)經(jīng)由板卡的 FPGA 模塊，同步分出兩路數(shù)據(jù)，一路數(shù)據(jù)傳輸至 ADAS 數(shù)采設備存儲記錄，另一路數(shù)據(jù)重新經(jīng)過相機適配器的串行化芯片進行串行輸出，通過同軸線纜傳輸?shù)角岸说?ECU 設備進行解串，恢復成并行圖像數(shù)據(jù)，用于可視化或其他調(diào)試處理目的。

圖4. 多相機數(shù)采系統(tǒng)數(shù)據(jù)傳輸鏈路

傳輸鏈路②：車載 ADAS/AD ECU 的相機控制信號→相機：

ECU 的相機控制信號指令（如I2C和GPIO），通過同軸線纜傳輸，經(jīng)由 proFRAME 板卡，多路同時旁通至相機端。I2C 用于設備間的通信，包括配置相機的工作參數(shù)（如曝光、增益調(diào)整等），GPIO 用于控制相機的行為（如相機的啟停、觸發(fā)拍攝等）。板卡也支持通過同軸線纜給相機供電（PoC）。

友思特 proFRAME 板卡的多路圖像數(shù)據(jù)實時采集和回放功能通過其 TAP 模式實現(xiàn)。TAP（Test Access Point）是一種能夠從傳輸網(wǎng)絡或系統(tǒng)中分離出數(shù)據(jù)流并用于其他目的的工具，能夠在不干擾主數(shù)據(jù)流的情況下，提供對數(shù)據(jù)進行訪問和分析的接口。通過 proFRAME 的 TAP 模式，板卡可以旁通（bypass）多種類型的數(shù)據(jù)，包括攜帶高精度時間戳的視頻流、相機控制信號指令、外部觸發(fā)信號和 PoC 供電等。

圖5.proFRAME旁通ECU的PoC

友思特 proFRAME 板卡提供了3種給相機供電（8V-24V）的方式：

直接主機給板卡供電，板卡通過穩(wěn)壓器將電壓經(jīng)由Coax傳輸至前端相機；

外部電源連接板卡的相機適配器，經(jīng)由相機適配器的Coax傳輸至前端相機；

基于板卡的TAP模式，將ECU提供的PoC旁通至所連接的前端相機。

圖6. proFRAME旁通ECU的觸發(fā)信號

車載場合對于多傳感器數(shù)據(jù)融合以及時間同步的要求非常高，例如要將2D圖像和激光雷達的點云圖像進行融合、實現(xiàn)對點云數(shù)據(jù)的顏色渲染；或者基于2D圖像識別結果的box框對點云數(shù)據(jù)進行分割，從而獲取目標的三維位姿 cube。友思特 proFRAME 板卡提供了4種向相機發(fā)送同步觸發(fā)信號實現(xiàn)相機同步的方式：

板卡內(nèi)部的FPGA生成時鐘信號傳輸至相機；

外部觸發(fā)源通過板卡的外部觸發(fā)信號口傳輸至FPGA再轉送至相機；

多proFRAME板卡通過Daisy鏈拓撲結構同步；

ECU發(fā)送觸發(fā)信號，經(jīng)由板卡的TAP模式，旁通至相機。

圖7. 友思特proFRAME圖像采集和回放板卡

友思特 proFRAME 板卡采用模塊化設計的方式，通過切換不同的相機適配器模塊，適配包括 GMSL 1/2/3、FPD - Link III/IV、GVIF3、CSI-2 多種傳輸協(xié)議的接口相機/視頻流。板卡支持同軸線纜供電和邊帶通信（I2C和GPIO），可同時進行多路視頻數(shù)據(jù)的采集和回放（多至8路），且采集數(shù)據(jù)攜帶納秒級別的高精度時間戳，并能夠以時間戳信息精準同步回放視頻流，通過TAP模式旁路各種數(shù)據(jù)，在ADAS、EoL測試和 AD的硬件在環(huán)測試領域都大有建樹。

總結

車載多相機實時同步采集系統(tǒng)在新能源汽車及智能駕駛領域扮演著至關重要的角色。系統(tǒng)通過高精度、高速度的圖像數(shù)據(jù)采集，為車輛的環(huán)境感知、行駛狀態(tài)監(jiān)測以及駕駛輔助提供了強有力的技術支持。

隨著自動駕駛技術的不斷深入發(fā)展，車載相機系統(tǒng)的要求也日益嚴苛，不僅需要具備高分辨率、廣視角的成像能力，還必須在各種復雜環(huán)境下保持穩(wěn)定的性能。面對未來智能駕駛的多元化需求，車載多相機實時同步采集系統(tǒng)將持續(xù)融合新興技術，如深度學習、計算機視覺等AI技術，以提升系統(tǒng)的智能化水平。同時，不斷優(yōu)化相機之間的同步性能和圖像處理算法，確保在多變的行車環(huán)境中能夠實時、準確地捕捉關鍵信息，為車輛的決策系統(tǒng)提供可靠的數(shù)據(jù)基礎。

從長遠來看，智能駕駛技術將是未來交通出行的重要發(fā)展方向。車載多相機實時同步采集系統(tǒng)作為智能駕駛的“眼睛”，其技術創(chuàng)新和性能提升將直接推動智能駕駛的發(fā)展，助力實現(xiàn)更安全、更高效的綠色出行。同時，隨著技術的不斷進步和成本的優(yōu)化，這一系統(tǒng)有望在未來實現(xiàn)更廣泛的商業(yè)應用，為智能交通和綠色出行貢獻重要力量。

了解更多？歡迎訪問官網(wǎng)，探索豐富案例：https://viewsitec.com/proframe-grabber/

審核編輯 黃宇