6 月 17 日， 理想家庭科技日，理想智能駕駛交卷，郎博氣定神閑，給出了理想智能駕駛自研的階段性結(jié)果。

出乎意料的，整體功能交付水準(zhǔn)遠(yuǎn)遠(yuǎn)超出我的預(yù)期。

畢竟理想宣布全棧自研智能駕駛在蔚小理三家中最晚，但是交卷的速度卻沒有落到最后，甚至有后來(lái)者居上的態(tài)勢(shì)。

而在眾多公司對(duì)高精地圖的成本頭疼不已的時(shí)候，理想這次發(fā)布會(huì)示范了一個(gè)優(yōu)秀的解決方案，將無(wú)圖化真正部署上車。

01

為什么需要去除高精地圖？

使用高精地圖的目的是，和實(shí)時(shí)定位搭配找到對(duì)應(yīng)車道位置，加上實(shí)時(shí)感知車道線進(jìn)行小規(guī)模修正，最后達(dá)到循跡或者變換車道上下匝道的目的。

這里就會(huì)有一個(gè)問題：對(duì)于實(shí)時(shí)變化的場(chǎng)景或者定位精度不準(zhǔn)，對(duì)高精地圖依賴越強(qiáng)，產(chǎn)生的問題就會(huì)越多。

比如施工后的車道如果發(fā)生了改變，而高精地圖也沒有進(jìn)行實(shí)時(shí)更新，同時(shí)實(shí)時(shí)感知車道線的置信度不高，此時(shí)自動(dòng)駕駛系統(tǒng)會(huì)沿著原來(lái)的繪制車道線行駛。

之前高速 NOA 剛剛量產(chǎn)發(fā)布時(shí)，很多用戶會(huì)抱怨匝道亂打方向盤問題，一部分原因來(lái)自于這里。

當(dāng)然后來(lái)通過一些工程方式，例如地理圍欄，就是部分位置即使有高精地圖也不會(huì)提供功能降級(jí)，或者車道線感知能力提升后提高感知權(quán)重的方式獲得了解決。

但是來(lái)到城區(qū)，一切都不一樣了。

城區(qū)的道路相較于高速?gòu)?fù)雜得多，如果把紅綠燈路口當(dāng)作是匝道的話，一段 1 公里的路程難度可能相當(dāng)于高速上 100 公里。用高精地圖去完成城市 NOA 成本極高，城市內(nèi)部道路更新頻率遠(yuǎn)遠(yuǎn)高于高速道路，需要一個(gè)測(cè)繪車隊(duì)常年無(wú)休更新地圖。

同時(shí)，某些城市的內(nèi)部道路由于密級(jí)要求，是不允許測(cè)繪的， 這也就很大限制了功能的可用位置。

高精地圖貴而且不靈活， 面對(duì)城區(qū)的復(fù)雜路況是不適用的。

所以城市 NOA 短期小范圍推送尚且可以使用高精地圖， 但是長(zhǎng)期來(lái)看，想要更快推廣，或者降低成本從智能駕駛部分獲得正向現(xiàn)金流的話，去除高精地圖勢(shì)在必行。

理想的 Neural Map Prior 就是為此而生的。

02

NPN 先驗(yàn)網(wǎng)絡(luò)????????????????

理想的 Neural Map Prior For Autonomous Driving 是什么？

簡(jiǎn)單來(lái)說，主要是兩個(gè)點(diǎn)：

離線（云端）特征更新（Update，Offline Global Map Prior update）：看一次路口看不清楚，那就多看幾次。

在線（車端）地圖推理（Online Local Inference）：這次路口沒看清楚，就想一下上次是什么樣的，再看。

在線地圖推理，結(jié)合以前的信息進(jìn)行感知，看的更遠(yuǎn)。

在線地圖推理這里使用了公認(rèn)最先進(jìn)的智能駕駛感知技術(shù)棧 BEV 網(wǎng)絡(luò)作為基礎(chǔ)， 從俯視的角度將每個(gè)攝像頭的信息組合到一起，這樣各個(gè)攝像頭之間的信息能夠共享，識(shí)別能夠更加精準(zhǔn)，穩(wěn)定。

但是實(shí)時(shí)感知的局限性在于，在復(fù)雜的道路上，常常需要移動(dòng)一定的角度才能獲取足夠多的信息。

對(duì)于決策規(guī)劃來(lái)說，感知信息不夠多和精準(zhǔn)讓決策變得很艱難。

對(duì)于人類駕駛員來(lái)說，一般我們會(huì)通過經(jīng)驗(yàn)，即使沒有看到目標(biāo)路口的車道線也可以做出正確的操作，因?yàn)槲覀冇兄暗慕?jīng)驗(yàn)信息。

這里的整體工作流也非常類似，使用之前的經(jīng)驗(yàn)，進(jìn)行信息補(bǔ)全，最后保證感知結(jié)果的更加可靠。

當(dāng)然，整體來(lái)看，這與實(shí)時(shí)感知車道線與高精地圖信息融合作為最終環(huán)境感知結(jié)果的方法依然類似，只不過這里使用的并非是高精地圖測(cè)繪結(jié)果作為輸入，而是特征中間值作為隱式輸入。

這里有一個(gè)很有意思的「隱式表達(dá)」的概念。

常規(guī)的已經(jīng)感知出車道線結(jié)果再與高精地圖進(jìn)行融合的方式，可以稱之為：「顯式融合」。

即具有相當(dāng)?shù)目山忉屝?，有?jīng)驗(yàn)的工程師是可以完全看懂的，也可以被直接描述。

而理想這里的表達(dá)方式更加傾向于隱式表達(dá)，也就是，一切規(guī)則由神經(jīng)網(wǎng)絡(luò)自行學(xué)習(xí)完成，無(wú)法被直接描述。

模型能力逐漸變強(qiáng)的當(dāng)下，能夠覆蓋更多子任務(wù)，很多中間層顯式的表達(dá)可以用隱式的方式完成，例如原來(lái)單攝像頭感知后融合，到現(xiàn)在多攝像頭 BEV 完成的隱式融合。

理想的先驗(yàn)地圖和感知結(jié)果融合的方式，都屬于此列，這也是算力充足的情況下，人工智能發(fā)展的趨勢(shì)。

03

離線地圖更新，實(shí)時(shí)云端對(duì)齊

對(duì)于某個(gè)新的感知結(jié)果，是否需要被實(shí)時(shí)更新到云端離線地圖中去？

這個(gè)問題其實(shí)也沒有這么簡(jiǎn)單。

因?yàn)椴徽摵螘r(shí)，新感知的結(jié)果與離線地圖都是有一定差異的，如何規(guī)定學(xué)習(xí)新的感知結(jié)果和忘記舊的信息規(guī)則也是一件不容易的事情。

在理想的這個(gè)方案里，依然使用了隱式學(xué)習(xí)的方式去規(guī)定，并使用了一種 Gated Recurrent Unit（GRU）門控循環(huán)單元變體結(jié)構(gòu)完成，這樣也保證網(wǎng)絡(luò)的長(zhǎng)時(shí)記憶能力。

簡(jiǎn)單來(lái)說，規(guī)定一個(gè)忘記比例，一個(gè)更新比例，這兩個(gè)都是一個(gè)小的神經(jīng)網(wǎng)絡(luò)單元，輸入都是實(shí)時(shí)感知的結(jié)果和離線地圖查詢結(jié)果，讓神經(jīng)網(wǎng)絡(luò)自行學(xué)習(xí)兩個(gè)比例。

最后再將這兩個(gè)比例與實(shí)時(shí)感知結(jié)果和離線查詢結(jié)果進(jìn)行操作，最后得出新的離線地圖更新。

這里再次呼應(yīng)了上文中提到的隱式表達(dá)概念，隱式?jīng)Q定如何更新地圖。

實(shí)際上也就是，讓神經(jīng)網(wǎng)絡(luò)知道，往什么方向去更新地圖才是對(duì)的，而不是規(guī)則化這個(gè)任務(wù)。

04

一些疑問和工程化問題

定位問題

關(guān)于離線地圖查詢時(shí)的定位問題這里并沒有說明，事實(shí)上，之前 Tesla 在 AI Day 上也提到過 Spatial RNN 眾包建圖方案，與理想本次提出來(lái)的方案具有非常強(qiáng)的相似性。

但是這些任務(wù)都基于一個(gè)非常強(qiáng)的假設(shè)，因?yàn)樾枰胁煌瑫r(shí)空同一位置的地圖更新，也就是說定位需要非常準(zhǔn)確。

但是，實(shí)際上，車端的定位是無(wú)法準(zhǔn)確到滿足這個(gè)強(qiáng)假設(shè)的。

不準(zhǔn)確的定位可能在查詢整體離線地圖時(shí)會(huì)出現(xiàn)偏差，也就會(huì)影響最后的感知結(jié)果。

所以一般來(lái)說，還需要實(shí)時(shí)位置特征去滿足定位的要求，這一點(diǎn)應(yīng)該也需要工程師們持續(xù)的努力。

這里有一個(gè)細(xì)節(jié)是，是否可以在查詢地圖時(shí)也加入一個(gè)隱式網(wǎng)絡(luò)，將目標(biāo)路面特征作為查詢的來(lái)源，而不是純顯式地圖定位表達(dá)。

地圖的成熟度自動(dòng)確認(rèn)

在發(fā)布會(huì)上，郎博提到一個(gè)路口成熟度的概念，也就是在多次更新之后，離線地圖會(huì)達(dá)到一個(gè)可以被使用的閾值。

關(guān)于什么時(shí)候可以被使用，郎博并沒有給出來(lái)， 這里假設(shè)兩點(diǎn)：

實(shí)際高精定位車輛采集地圖，并且與目標(biāo)比對(duì)，但是此時(shí)又回落回到高精地圖采集的傳統(tǒng)工作流中去。當(dāng)然我相信，在早期項(xiàng)目設(shè)計(jì)開發(fā)時(shí)，一定需要實(shí)時(shí)地圖采集作為真值訓(xùn)練網(wǎng)絡(luò)的。

實(shí)時(shí)特征比對(duì)，一定存在一個(gè)合理的誤差值，達(dá)到該誤差時(shí)，路口結(jié)果會(huì)被釋放。這是積累了足夠多的數(shù)據(jù)之后，數(shù)據(jù)驅(qū)動(dòng)產(chǎn)生的效能。

存儲(chǔ)和實(shí)時(shí)云端互傳

在論文中，提到使用 Nuscenes數(shù)據(jù)集作為驗(yàn)證，整體 2km X 1.5 km 的小區(qū)域，0.3m 的分辨率，使用了 11GB 的存儲(chǔ)空間。

關(guān)于本車如何使用這些數(shù)據(jù)，如何從云端下載數(shù)據(jù)，事實(shí)上也是一個(gè)需要實(shí)踐解決的工程問題。

因?yàn)槿绻麑?shí)時(shí)云端查詢并且下載地圖先驗(yàn)特征，常常會(huì)因?yàn)榫W(wǎng)絡(luò)問題造成數(shù)據(jù)并不能實(shí)時(shí)傳輸完成，這樣無(wú)法完成實(shí)時(shí)地圖更新。

我的猜測(cè)應(yīng)該也是與高精地圖的使用方式一樣，根據(jù)地圖定位提前下載小片區(qū)的地圖，例如通勤模式，可以將整個(gè)通勤范圍內(nèi)的地圖提前下載并且查詢由車端實(shí)時(shí)完成。

關(guān)于本車數(shù)據(jù)不斷上傳問題，并且理想并沒有實(shí)時(shí)繪制地圖，保存的只是地圖的中間值特征，不具有地圖拓?fù)浜x，因此應(yīng)該不算測(cè)繪，不需要特殊的測(cè)繪資質(zhì)。

這也是一次數(shù)據(jù)驅(qū)動(dòng)面對(duì)數(shù)據(jù)保護(hù)條例的小小勝利。

寫在最后

自動(dòng)駕駛感知發(fā)展的趨勢(shì)非常明朗，即從越來(lái)越多的信息中獲取輸入，保證感知結(jié)果的精確。

從 2D 直視圖到 3D BEV 感知融合保證多視圖的信息共享，再到 4D 時(shí)序融合保證前后幀的預(yù)測(cè)，再到理想地圖先驗(yàn)多時(shí)空信息的融合，我這里想簡(jiǎn)單稱之為 5D 平行時(shí)空融合。

理想智能駕駛走在了正確的道路上。

有個(gè)理想車主問我，為什么理想這么快就可以拿出來(lái)一個(gè)這樣的 Demo 產(chǎn)品？

我想了想回答：現(xiàn)在的自動(dòng)駕駛開發(fā)，絕對(duì)不存在一種天頂星算法，能夠直接將競(jìng)爭(zhēng)對(duì)手產(chǎn)品斬落馬下。

而最重要的是一步步的耐心和極強(qiáng)工程能力。

如果必須要回答這個(gè)問題的話，答案只能是：后發(fā)者找對(duì)了方向，省去了一大部分探索和拉扯的時(shí)間，并且能夠持續(xù)專注地開發(fā)。

在技術(shù)棧開始變化時(shí)，一切之前的積累， 可能都只是拖累。

當(dāng)然， 這一切都建立在 Demo 的水準(zhǔn)可以大規(guī)模推廣使用，并且能如期交付的基礎(chǔ)上。

不過現(xiàn)在， 我想提前恭喜理想同學(xué)，在去高精地圖的戰(zhàn)場(chǎng)上，開出了響亮的第一槍。