行業(yè)專家已經(jīng)為自動(dòng)駕駛的發(fā)展定義了五個(gè)級(jí)別。 每個(gè)級(jí)別分別描述了汽車從駕駛員那里接管各項(xiàng)任務(wù)和責(zé)任的程度，以及汽車和駕駛員之間如何互動(dòng)。在自動(dòng)駕駛的每個(gè)級(jí)別上，應(yīng)對(duì)所有數(shù)據(jù)所需的處理能力隨級(jí)別的提升而迅速增加。根據(jù)經(jīng)驗(yàn)，可以預(yù)計(jì)從一個(gè)級(jí)別到下一個(gè)級(jí)別的數(shù)據(jù)處理量將增加10倍。 對(duì)于完全自動(dòng)駕駛的第4級(jí)和第5級(jí)，我們將看到數(shù)十萬億次浮點(diǎn)運(yùn)算的處理量。本文將從傳感器、攝像頭，神經(jīng)網(wǎng)絡(luò)等角度介紹自動(dòng)駕駛所需的處理能力。

在未來20 - 30年中，自動(dòng)駕駛汽車（AV）將改變我們的駕駛習(xí)慣、運(yùn)輸行業(yè)并更廣泛地影響社會(huì)。 我們不僅能夠?qū)⑵囌賳镜轿覀兊募议T口并在使用后將其送走，自動(dòng)駕駛汽車還將挑戰(zhàn)個(gè)人擁有汽車的想法，并對(duì)環(huán)境和擁堵產(chǎn)生積極影響。市場(chǎng)調(diào)研公司ABI Research預(yù)測(cè)：到2030年，道路上四分之一的汽車將會(huì)是自動(dòng)駕駛汽車。

行業(yè)專家已經(jīng)為自動(dòng)駕駛的發(fā)展定義了五個(gè)級(jí)別。每個(gè)級(jí)別分別描述了汽車從駕駛員那里接管各項(xiàng)任務(wù)和責(zé)任的程度，以及汽車和駕駛員之間如何互動(dòng)。諸如自適應(yīng)巡航控制這類功能是先進(jìn)駕駛員輔助系統(tǒng)（ADAS）的示例，并且可以被認(rèn)為是第1級(jí)的能力。目前，市場(chǎng)上出現(xiàn)的一些新車正在實(shí)現(xiàn)第2級(jí)功能；但作為一個(gè)行業(yè)，我們僅僅是才觸及ADAS系統(tǒng)的表面，更不用說完全自主駕駛了。

示意圖：自動(dòng)駕駛的五個(gè)級(jí)別

自動(dòng)駕駛的級(jí)別

當(dāng)我們?nèi)ブ鸺?jí)實(shí)現(xiàn)自動(dòng)駕駛的不同級(jí)別時(shí)，處理能力對(duì)于實(shí)現(xiàn)完全自動(dòng)化這一愿景至關(guān)重要，此時(shí)駕駛員可以“放開方向盤、移開目光和放飛心靈”。在這個(gè)級(jí)別上，車內(nèi)的人只是乘客；同時(shí)因?yàn)闆]有司機(jī)，所以也不需要方向盤。然而，在我們實(shí)現(xiàn)該目標(biāo)之前，我們應(yīng)該首先了解從非自動(dòng)駕駛到完全自動(dòng)駕駛之間的各種級(jí)別。

ADAS/AV有三個(gè)主要元素：傳感、計(jì)算和執(zhí)行。

用感知去捕捉車輛周圍環(huán)境的現(xiàn)狀。這是靠使用一組傳感器來完成的：雷達(dá)（長距離和中距離），激光雷達(dá)（長距離），攝像頭（短距離/中距離），以及紅外線和超聲波。這些“感官”中的每一種都能捕捉到它所“看到”的周圍環(huán)境的變體。它在此視圖中定位感興趣的和重要的對(duì)象，例如汽車、行人、道路標(biāo)識(shí)、動(dòng)物和道路拐彎。

示意圖：汽車從激光雷達(dá)、雷達(dá)和攝像頭中看到的視圖

計(jì)算階段是決策階段。在這個(gè)階段中，來自這些不同視圖的信息被拼合在一起，以更好地理解汽車“看到”的內(nèi)容。例如，場(chǎng)景中到底發(fā)生了什么？移動(dòng)物體在哪里？預(yù)計(jì)的動(dòng)作是什么？以及汽車應(yīng)該采取哪些修正措施？是否需要制動(dòng)和/或是否需要轉(zhuǎn)入另一條車道以確保安全？

執(zhí)行即最后階段是汽車應(yīng)用這一決策并采取行動(dòng)，汽車可能會(huì)取代駕駛員。它可能是制動(dòng)、加速或轉(zhuǎn)向更安全的路徑；這可能是因?yàn)轳{駛員沒有注意到警告，及時(shí)采取行動(dòng)并且即將發(fā)生碰撞，或者它可能是完全自主系統(tǒng)的標(biāo)準(zhǔn)操作。

第2級(jí)實(shí)際上是ADAS路徑的起點(diǎn)，其中可能在安全解決方案包中制定多種單獨(dú)的功能，例如自動(dòng)緊急制動(dòng)、車道偏離警告或輔助保持在車道中行駛。

第3級(jí)是諸如2018款?yuàn)W迪A8等目前已量產(chǎn)汽車的最前沿，這意味著駕駛員可以“移開目光”一段時(shí)間，但必須能夠在出現(xiàn)問題時(shí)立即接管。

第4級(jí)和第5級(jí)兩者都可提供基本上是完全的自動(dòng)駕駛。它們之間的區(qū)別在于：第4級(jí)駕駛將限于諸如主要高速公路和智慧城市這樣的具有地理緩沖的區(qū)域，因?yàn)樗鼈儠?huì)重度依靠路邊的基礎(chǔ)設(shè)施來維持其所在位置的毫米級(jí)精度畫面。

第5級(jí)車輛將可在任何地點(diǎn)實(shí)現(xiàn)自動(dòng)駕駛。在這個(gè)級(jí)別，汽車甚至可能沒有方向盤，并且座椅可以不是都面向前方。

自動(dòng)駕駛所需的處理能力

在自動(dòng)駕駛的每個(gè)級(jí)別上，應(yīng)對(duì)所有數(shù)據(jù)所需的處理能力隨級(jí)別的提升而迅速增加。根據(jù)經(jīng)驗(yàn)，可以預(yù)計(jì)從一個(gè)級(jí)別到下一個(gè)級(jí)別的數(shù)據(jù)處理量將增加10倍。 對(duì)于完全自動(dòng)駕駛的第4級(jí)和第5級(jí)，我們將看到數(shù)十萬億次浮點(diǎn)運(yùn)算的處理量。

從傳感器的角度來看，下表為您提供了其需求量的一個(gè)指引。第4級(jí)和第5級(jí)將需要多達(dá)八個(gè)攝像頭，盡管人們甚至已經(jīng)提出了需要更高的攝像頭數(shù)量。 圖像捕獲裝置的分辨率為2百萬像素，幀速為30-60幀/秒，所以要實(shí)時(shí)處理所有這些信息是一項(xiàng)巨大的處理任務(wù)。對(duì)于車上的雷達(dá)，其數(shù)量可能需要多達(dá)10臺(tái)以上，這是因?yàn)樾枰?2GHz和77GHz之間搭配使用短距離、中距離和長距離（100m 以上）的雷達(dá)。即使在第2級(jí)，仍然需要對(duì)從攝像頭和雷達(dá)捕獲的數(shù)據(jù)進(jìn)行大量處理。

示意圖：自動(dòng)駕駛和應(yīng)用的不同級(jí)別

對(duì)于處理能力，我們將關(guān)注攝像頭需要做什么，這是因?yàn)樗c前置雷達(dá)一起是支撐諸如在特斯拉中使用的自動(dòng)駕駛儀的主要傳感器。

攝像頭系統(tǒng)通常是廣角單攝或立體雙攝，在車上呈前向或以環(huán)繞視場(chǎng)（360°）配置。與雷達(dá)和激光雷達(dá)不同，攝像頭感應(yīng)設(shè)備取決于處理輸入的軟件的功能；攝像頭的分辨率很重要，但沒有達(dá)到你想象的程度。

為簡(jiǎn)化處理過程，我們使用了一種被稱為卷積神經(jīng)網(wǎng)絡(luò)（CNN）的重要算法。CNN是從攝像頭源中提取和分辨信息的一種高度專業(yè)化和高效的方法。

在我們的汽車案例中，它從攝像頭獲取輸入并識(shí)別車道標(biāo)記、障礙物和動(dòng)物等。CNN不僅能夠完成雷達(dá)和激光雷達(dá)所能做的所有事情，而且能夠在更多方面發(fā)揮作用，例如閱讀交通標(biāo)識(shí)、檢測(cè)交通燈信號(hào)和道路的組成等。事實(shí)上，某些一級(jí)供應(yīng)商（Tier 1）和汽車原始設(shè)備制造商（OEM）正在研究通過攝像頭和雷達(dá)組合來降低成本。

CNN將機(jī)器學(xué)習(xí)的元素帶入汽車。神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)都普遍基于我們自己大腦的連線結(jié)構(gòu)。人們首先必須選擇想要實(shí)現(xiàn)的網(wǎng)絡(luò)類型，以及其按照層數(shù)來決定的深度。 每層實(shí)際上是前一層和后一層之間的一組互連節(jié)點(diǎn)。為了實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)，大量的智能訓(xùn)練數(shù)據(jù)將被應(yīng)用于它；這是一種高度計(jì)算密集型的操作，大多數(shù)情況下是離線進(jìn)行的。對(duì)于諸如一種道路情況的圖像和視頻這樣的每一次通過，網(wǎng)絡(luò)通過調(diào)整各層內(nèi)的相關(guān)因素來進(jìn)行學(xué)習(xí)。當(dāng)訓(xùn)練數(shù)據(jù)通過它時(shí)，這些相關(guān)因素可以從數(shù)百萬次數(shù)據(jù)分析中得到提升。 一旦完成訓(xùn)練，就可以將網(wǎng)絡(luò)和相關(guān)因素加載到諸如CPU或GPU計(jì)算或特定CNN加速器之類的結(jié)構(gòu)中。

這種類型的算法和網(wǎng)絡(luò)的優(yōu)點(diǎn)之一是它可以用更新的或更好的相關(guān)因素去升級(jí)，因此它總是在不斷改進(jìn)。經(jīng)過廣泛的比較，我們發(fā)現(xiàn)在GPU計(jì)算模式上運(yùn)行的CNN比在當(dāng)前高端嵌入式多核CPU上快20倍且功耗也低得多。同樣，伴隨著CNN向硬件加速方向發(fā)展，我們也已看到性能還可進(jìn)一步提高20倍，而且在功耗上也可進(jìn)一步改善。

展望未來

隨著我們走向采用無人駕駛汽車的未來，所需的計(jì)算能力將隨著傳感器的數(shù)量、幀速和分辨率而擴(kuò)展。從性能和功率兩個(gè)角度來看，卷積神經(jīng)網(wǎng)絡(luò)正在成為解釋圖像數(shù)據(jù)的最有效方式。這將引領(lǐng)在網(wǎng)絡(luò)的邊緣放置更多處理資源的趨勢(shì)，例如在汽車案例中，計(jì)算資源是在汽車自身內(nèi)部，而不是將該處理能力卸載到云并且依賴于始終在線的蜂窩連接。對(duì)于那些提供處理能力、算法和訓(xùn)練數(shù)據(jù)的人來說，自動(dòng)駕駛潛藏著巨大的機(jī)會(huì)并將成為現(xiàn)實(shí)。