過去十年，自動駕駛和高級駕駛輔助系統(tǒng) (AD/ADAS) 軟件和硬件的開發(fā)成為了各大汽車公司的主要投資目標之一。各大汽車公司對AD/ADAS 持續(xù)不斷的投資加快了 AD/ADAS 組件的開發(fā)周期，但也揭示了目前需要解決的重大挑戰(zhàn)——如何快速了解開發(fā) AD/ADAS 組件中的車輛行為，以便進行改進！

一、方案背景

由于 AD/ADAS 的運行環(huán)境很復雜，從仿真到真實駕駛，任何 AD/ADAS 組件的每次更改都需要根據(jù)大量場景進行驗證。然而，場景數(shù)量龐大且每天都在增長，傳統(tǒng)的機器人開發(fā)支持工具（如 RVIZ）無法滿足我們的需求。例如，RVIZ只允許我們實時檢查車輛的行為，很難快速跳轉(zhuǎn)到任何特定事件。

為此，康謀推出IVEX自動駕駛場景管理及分析平臺來克服這一難題。IVEX是一個基于云的平臺，包含許多功能來支持 AD/ADAS 的驗證和開發(fā)。

下文康謀將為您分享在AD/ADAS開發(fā)中使用IVEX的經(jīng)驗。

二、康謀方案——IVEX自動駕駛場景管理及分析平臺

圖1 IVEX頁面

1、數(shù)據(jù)輸入

我們通過將原始數(shù)據(jù)轉(zhuǎn)換為所需的格式，然后將轉(zhuǎn)換后的數(shù)據(jù)上傳到基于云的服務器來與安全分析平臺進行交互。平臺的輸入數(shù)據(jù)以 Protobuf 消息格式定義，包括執(zhí)行期間有關(guān)環(huán)境和AD/ADAS 行為的信息，例如：

a.自車狀態(tài)變量，例如位姿、速度、加速度和轉(zhuǎn)向角；

b.自我車輛規(guī)劃軌跡；

c.障礙物信息，如位姿、邊界框、速度和類型；

d.上下文圖像；

e.標記事件，其中每個事件由一個標簽和相應的時間戳組成；

2、場景執(zhí)行結(jié)果

（1）格式

IVEX清晰且定義良好的輸入格式有助于無縫處理不同的數(shù)據(jù)格式。由于場景來自不同的來源，因此場景執(zhí)行結(jié)果具有不同的格式，例如 Autoware ROS2 Bags、Apollo CyberRecords、Carla Simulator 日志格式和其他商業(yè)模擬器日志格式。

對于每種數(shù)據(jù)格式，我們都有一個適配器（通常只是一個 Python 腳本），用于將數(shù)據(jù)轉(zhuǎn)換為安全分析的 Protobuf 輸入格式。Protobuf 是大多數(shù)工程師都熟悉的格式。通常只需幾個小時即可開發(fā)一個適配器，將新的數(shù)據(jù)格式轉(zhuǎn)換為安全分析的 Protobuf 輸入格式。

（2）上傳

圖2 將數(shù)據(jù)上傳到IVEX的命令行界面

通過命令行界面將場景執(zhí)行結(jié)果上傳到IVEX平臺。數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)上傳都集成到 CI/CD 流程中。同時每位工程師都可以執(zhí)行任何特定場景并將結(jié)果上傳到 IVEX平臺。這種靈活性使我們能夠快速試驗AD/ADAS開發(fā)中的每項更改。

（3）檢查

在 IVEX的 Web 界面上檢查場景執(zhí)行結(jié)果。我們可以根據(jù)不同的元數(shù)據(jù)（例如執(zhí)行日期、軟件版本或場景名稱）搜索、過濾和選擇相關(guān)場景。

圖3 IVEX的搜索功能示例

a.快速概覽

由于場景驗證通常是大量的，因此快速概覽結(jié)果十分重要。使用 IVEX的聚合視圖可以實現(xiàn)快速概覽。在篩選和選擇感興趣的場景后，可以訪問聚合視圖，該視圖可快速提供有關(guān)所有標記事件的信息，這些事件按不同的操作設計域進行分類。標記的事件可以包含在要上傳到 IVEX的輸入數(shù)據(jù)中，從而能夠標記與驗證任務相關(guān)的任何類型的事件。IVEX還會自動標記幾個標準事件，例如緊急剎車、關(guān)鍵碰撞時間等。

例如，當在IVEX中開發(fā)一項新功能并想要比較自主車輛以不同速度行駛時的結(jié)果時，啟用聚合視圖來顯示按不同速度范圍分類的信息，如下圖所示。

圖4 IVEX的聚合視圖

b.快速導航

除了概覽場景執(zhí)行結(jié)果中發(fā)生的事件之外，我們還需要能夠快速導航到特定事件以檢查車輛的行為。從聚合視圖可以直接跳轉(zhuǎn)到任何感興趣的事件。

例如，如果想檢查當自車行駛速度超過 30 公里/小時時發(fā)生的緊急剎車事件，可以點擊與該事件和速度相對應的框。事件的分布和特定時間戳的列表與上下文圖像一起顯示。點擊任何一張卡片都會來到數(shù)據(jù)日志視圖，該視圖提供在特定時間戳發(fā)生的詳細信息。

圖5 聚合視圖中事件選擇示例

圖6 在數(shù)據(jù)日志視圖中檢查急剎車事件

在數(shù)據(jù)日志視圖中，可以詳細檢查事件。該視圖具有詳細的可視化功能，可顯示當時的所有信息，包括自車的狀態(tài)、地圖、障礙物及其相關(guān)信息，例如速度、類型和與自車的距離。我們還可以從場景列表直接跳轉(zhuǎn)到數(shù)據(jù)日志視圖。

圖7 數(shù)據(jù)日志視圖的可視化

數(shù)據(jù)日志視圖還幫助我們重播并查看場景中發(fā)生的情況。只需點擊幾下，我們就可以在每個時間戳之間來回切換。我們還可以看到所有標記的事件并導航到其中任何一個。使用此視圖，可以快速評估和了解任何情況。

圖8 跨時間觀察障礙物

圖9 快速導航至特定事件或時間戳

c. 團隊共享

一旦發(fā)現(xiàn)需要進一步檢查的事件，我們就可以與其他同事分享完全相同的視圖，然后同事就可以隨時檢查該事件。在團隊工作時，共享此類信息可以大大促進我們的溝通，并幫助我們專注于正確的方向。

三、結(jié)論

IVEX大大推動了AD/ADAS的開發(fā)工作：

a.輕松集成駕駛數(shù)據(jù)到平臺

b.快速了解車輛行為

c.快速導航感興趣事件

d.訪問所有有價值的可視化信息了解情況

e.團隊共享信息

期待您繼續(xù)關(guān)注康謀之后的文章，我們將分享有關(guān)AD/ADAS的基于場景的驗證和數(shù)據(jù)分析的更多信息。