基于場景的自動駕駛驗證策略

引言

自動駕駛功能的出現(xiàn)可以很大地降低由人為因素造成的交通事故,隨之如何檢驗和驗證自動駕駛系統(tǒng)及車輛的可靠性變得至關(guān)重要。但常見的測試驗證手段通常伴隨著高昂的投入成本，因此使得驗證過程變得十分困難。一個可選方案是將實際交通狀況做出總結(jié)生成具有高度代表性的交通場景，通過仿真分析自動駕駛系統(tǒng)在這些場景上的安全性。然而交通場景中元素的復(fù)雜性與失敗事件的罕見性導(dǎo)致難于準確分析系統(tǒng)失敗的概率和造成系統(tǒng)失敗的原因。本文將針對此難題，介紹一種將場景降維并極大提高分析系統(tǒng)失敗概率準確性的方法。

二模型定義

1.基本流程

基于 ISO 21448預(yù)期功能安全分析方法論，確定自動駕駛算法的ODD/ODC，對自動駕駛算法進行危害事件分析，將已知危害場景作為抓手，對其進行充分泛化仿真，并且挖掘未知危害場景，將未知危害場景變?yōu)橐阎：鼍啊?/p>

本文將場景按照抽象程度分為功能場景、邏輯場景和具體場景。將真實世界中駕駛場景和ODD/ODC描述為邏輯場景的集合，通過分析每個邏輯場景的發(fā)生頻率與自動駕駛系統(tǒng)在其中的失敗概率估計自動駕駛系統(tǒng)在真實世界中的失敗概率。

2.失敗概率估算方法

為了更好地分析自動駕駛系統(tǒng)的失敗概率，用概率空間來表示一個邏輯場景，其中伴隨概率密度函數(shù)。而此邏輯場景下的一個具體場景可以表示為此空間中的一個點

用表示自動駕駛系統(tǒng)在具體場景中的某項評價指標，并不失一般性地定義該系統(tǒng)失敗定義為。故該系統(tǒng)在一個邏輯場景中的失敗概率可以表達為

若第個邏輯場景在公里的平均出現(xiàn)頻率為，則根據(jù)貝葉斯定理此被測試車輛或算法在公里上的平均失敗率為

3.難題

由于自動駕駛算法本身的未知性，往往無法直接計算，而空間的復(fù)雜性與失敗的罕見性引起的維度災(zāi)難和罕見性災(zāi)難又導(dǎo)致無法通過蒙特卡羅方法簡單估計。故如何構(gòu)建統(tǒng)計量來高效估計各個場景中的失敗概率成為核心問題。

三敏感性分析

1.敏感性分析的目標

大量經(jīng)驗表明系統(tǒng)表現(xiàn)并非依賴于場景中的全部元素，往往場景中部分元素取值即可以確定系統(tǒng)的表現(xiàn)是否會導(dǎo)致系統(tǒng)失效或出錯。這為基于場景的自動駕駛系統(tǒng)驗證提供了一種降維策略，即通過敏感性分析從眾多參數(shù)中挑選真正對自動駕駛系統(tǒng)表現(xiàn)產(chǎn)生影響的關(guān)鍵參數(shù)。敏感性分析過程在概率空間中采集具有代表性的樣本并通過并行仿真獲取自動駕駛系統(tǒng)在這些樣本上的表現(xiàn)。通過對這些數(shù)據(jù)進行統(tǒng)計分析，計算各個參數(shù)對車輛表現(xiàn)的重要性，即各個參數(shù)對的敏感性。

2.樣本策略

樣本采集策略大體分為固定策略和隨機/擬隨機策略。其中固定樣本策略又可以分為全因子法和部分因子法；隨機樣本策略分為單純蒙特卡羅方法以及按照不同目標優(yōu)化的拉丁超立方采樣；擬隨機策略主要指各種低差異性序列采樣。固定樣本策略可以在維度相對較低時有效分析自變量和因變量間的線性或二次線性關(guān)系，而當維度上面或因果關(guān)系復(fù)雜時此方法會導(dǎo)致計算困難。隨機/擬隨機樣本策略則可以適應(yīng)更復(fù)雜的因果關(guān)系和更高的空間維度。例如下圖分別使用拉丁超立方采樣（右圖）和三水平下的全因子法（左圖）分析函數(shù)

中的與因果關(guān)系。

可以明顯看出隨機/擬隨機策略使用的拉丁超立方采樣可以更好的體現(xiàn)因變量關(guān)于自變量的變化，同時在5因子3水平采樣中，全因子法需要的樣本數(shù)為3^5=243也遠大于拉丁超立方采樣用的100個。

3.分析指標

自變量對因變量重要性可以通過因變量關(guān)于自變量的變化率即偏導(dǎo)數(shù)、因變量和自變量間的不同相關(guān)性系數(shù)（皮爾斯、斯皮爾曼、坎德爾等）、因變量概率密度函數(shù)關(guān)于自變量變化的敏感程度即基于條件概率的敏感性、因變量方差關(guān)于自變量變化的敏感程度即基于方差的敏感性、模擬擬合的及模型擬合的預(yù)測能力等幾個方面評價。其中偏導(dǎo)數(shù)不適應(yīng)全局敏感性分析，各種相關(guān)性系數(shù)僅能適應(yīng)單調(diào)變化，模擬擬合的只能反應(yīng)訓(xùn)練集容易過擬合。故我們推薦使用基于條件概率/條件方差的敏感性指標+模型擬合預(yù)測能力指標COP結(jié)合的策略，先確定各個參數(shù)重要性的順序再根據(jù)COP最終選取對結(jié)果有影響的參數(shù)組合。

四失敗概率估計

成熟的自動駕駛系統(tǒng)對安全的要求十分嚴格，需要精準估計系統(tǒng)的失敗概率。而造成完善系統(tǒng)失敗的場景屬于罕見事件，使用蒙特卡羅方法難以尋找并精準估計其發(fā)生概率。我們推薦使用方向采樣和重要性采樣算法來來尋找失敗場景并估計失敗概率。

五數(shù)值實驗

我們使用一個顯示函數(shù)來舉例說明。選取空間中Katsuki函數(shù)作為KPI函數(shù)，即

KPI

并以作為失敗閾值，下面將通過敏感性分析和可靠性分析尋找影響系統(tǒng)表現(xiàn)的變量并估計系統(tǒng)失敗概率。

首先使用拉丁超立方采樣在空間進行采樣，樣本量為200，并使用基于條件概率和條件方差的敏感性指標對計算結(jié)果展示如下：

橫軸為對應(yīng)的變量順序，縱軸為指標數(shù)值，橙色為基于條件方差的敏感性指標，藍色為基于條件概率的敏感性指標，黑色的豎線為指標對應(yīng)的致信區(qū)間

通過上面的數(shù)據(jù)分析圖可以清楚看出因變量對于和的變化非常敏感，對剩余的變量不敏感。擬合因變量關(guān)于自變量的回歸模型并基于交叉驗證計算可以得到和組合的最優(yōu)COP=98.81%，即因變量COP=98.81%的不確定性可以由和的變化解釋，故將原始的空間降維成由和組成的空間。

接下來使用重要性采樣在降維后的參數(shù)空間中分析系統(tǒng)的失敗概率。其中參數(shù)配置為每次迭代計算1000個實驗點，并保留其中最優(yōu)的15%估計輪迭代的提議函數(shù)。具體結(jié)果展示如下：

上面的表格說明可靠性分析算法在降維后的空間中高效尋找到的失敗場景并估計其失敗概率。下面的圖片展示每輪采樣中樣本分布及KPI變化，其中藍色的點表示安全場景，黃色的點表示較為危險的場景，紅色點表示失敗場景，最后紫色的點表示尋找到的失敗臨界。

?

六應(yīng)用案例

1.場景設(shè)置

基于國標G.4場景改造的邏輯場景，即雙車道、存在2輛環(huán)境車.初始環(huán)境下按照Ego、VT1、VT2從后到前的順序同屬左車道，VT2屬于靜止狀態(tài)，Ego與VT1向前行駛。

固定Ego、VT1、VT2的初始位置，相對距離為200米，對能見度、VT1初始速度、VT1與VT2的偏移、VT1觸發(fā)切出時與VT2的距離進行泛化，并以TTC作為考核指標。AD算法使用第三方提供的自動駕駛算法對車輛橫縱向行為進行控制。參數(shù)的泛化如下表所示

在進行采樣算法樣本量及被測算法仿真及評測設(shè)置后開展敏感性、可靠性分析。

2.敏感性分析

分別使用基于方差和基于概率的敏感性指標做出分析，結(jié)果均表明能見度、車道偏移量對TTC變化不明顯，而VT1初始速度及切出時間對TTC的變化起顯著作用。故后續(xù)分析將不再泛化能見度及車道偏移量3個參數(shù)，僅專注于對TTC有影響的變量實現(xiàn)空間降維。

3.可靠性分析

用自適應(yīng)重要性采樣對該AD在該邏輯場景中的失敗概率做出分析。其中每輪采樣數(shù)量為400，保留最優(yōu)樣本比例為3%（保證最后用來估計失敗概率的失敗樣本數(shù)量>=3%*400=12）。分別以TTC<3和TTC<2作為失敗閾值，使用可靠性分析算法可以得到如下失敗概率：

對AD算法的表現(xiàn)做出分析，可以看出危險場景并非處于邊角處，故定步長泛化可能無法探索到失敗場景。

若使用單純蒙特卡羅法找到足夠失敗場景（20個）來估計失敗率，則分別需要超過55000次和520000仿真。可靠性分析算法相較蒙特卡羅法分別節(jié)約97%和99.5%以上的成本。

通過上述方法，賽目推出Safety Pro結(jié)合云平臺的并行仿真、加速計算能力，實現(xiàn)預(yù)期功能安全分析、參數(shù)敏感性分析、失敗概率計算以及尋找失敗臨界面等功能，基于結(jié)果數(shù)據(jù)評估系統(tǒng)殘余風(fēng)險，若存在不可接受風(fēng)險，則形成優(yōu)化迭代策略，并且通過驗證手段提前判斷優(yōu)化策略是否起效，助力、加速自動駕駛系統(tǒng)的開發(fā)和驗證。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?