數(shù)據(jù)集是機(jī)器學(xué)習(xí)算法的命脈——從某種意義上講，數(shù)據(jù)集對于自動駕駛等人工智能應(yīng)用領(lǐng)域，最重要的是它們的質(zhì)量最高。同時，數(shù)據(jù)集也衍生出自動駕駛行業(yè)新的商業(yè)模式。

nuTonomy今天發(fā)布了一個名為nuScenes的自動駕駛數(shù)據(jù)集，它聲稱其規(guī)模和精確度超過了KITTI、百度的ApolloScape和Udacity自動駕駛汽車數(shù)據(jù)集等公共數(shù)據(jù)集。

數(shù)據(jù)集下載鏈接：

https://d3u7q4379vrm7e.cloudfront.net/download

Scale為nuScenes提供了數(shù)據(jù)注釋，公司首席執(zhí)行官表示，這是有史以來發(fā)布的最健壯的開放源碼，基于多傳感器自動駕駛數(shù)據(jù)集。

NuTonomy編輯了1000多個場景，其中包含140萬幅圖像、40萬次激光雷達(dá)掃描（判斷物體之間距離）和110萬個三維邊界框（用RGB相機(jī)、雷達(dá)和激光雷達(dá)組合檢測的物體）。

它們已經(jīng)通過Scale的傳感器融合注釋API進(jìn)行了細(xì)致的標(biāo)簽，該API利用人工智能和人類團(tuán)隊進(jìn)行數(shù)據(jù)注釋，并且從本周開始面向行業(yè)開源。

近年來，越來越多的公司在加入這個行列。比如，早些時候全球紅外系統(tǒng)供應(yīng)商Flir發(fā)布了基于熱成像儀拍攝的1萬多張帶標(biāo)注圖片。Mapillary公司發(fā)布了25000張街道級別的圖像，以及加州大學(xué)伯克利分校上傳了10萬張基于RGB相機(jī)拍攝的視頻序列。

之所以被稱之為比之前其他公司和機(jī)構(gòu)發(fā)布的數(shù)據(jù)集更為全面，是因為此次數(shù)據(jù)搜集使用了6個攝像頭、1個激光雷達(dá)、 5個毫米波雷達(dá)、GPS及慣導(dǎo)系統(tǒng)，包括對于自動駕駛系統(tǒng)有挑戰(zhàn)性的復(fù)雜道路、天氣條件等。

車輛傳感器設(shè)置

使用兩輛具有相同傳感器布局的雷諾Zoe汽車在波士頓和新加坡開車，收集數(shù)據(jù)。有關(guān)傳感器的位置，請參閱上圖。傳感器發(fā)布數(shù)據(jù)如下：

1x旋轉(zhuǎn)激光雷達(dá)：

5倍長距離雷達(dá)傳感器：

相機(jī)方向和重疊請參閱下圖：

20Hz捕獲頻率

32個頻道

360°水平視場，+ 10°至-30°垂直視場

80m-100m范圍，可用返回70米，精度±2厘米

每秒高達(dá)~139百萬點

用于77GHz

13Hz捕獲頻率

使用調(diào)頻連續(xù)波在一個周期內(nèi)獨立測量距離和速度

距離最遠(yuǎn)250米

速度精度為±0.1 km / h

sa'n6x相機(jī)：

12Hz捕獲頻率

1 / 1.8英寸CMOS傳感器，1600x1200分辨率

Bayer8格式，每像素1字節(jié)編碼

1600x900 ROI從原始分辨率中裁剪，以減少處理和傳輸帶寬

曝光時間限制為最大20 ms的自動曝光

圖像被解壓縮為BGR格式并壓縮為JPEG

傳感器校準(zhǔn)

要獲得高質(zhì)量的多傳感器數(shù)據(jù)集，必須校準(zhǔn)每個傳感器的外在和內(nèi)在因素。根據(jù)表示相對于自我框架的外部坐標(biāo)，即后車軸的中點。最相關(guān)的步驟如下所述：

LIDAR外在因素：

使用激光襯墊來精確測量激光雷達(dá)與自我框架的相對位置。

相機(jī)外在因素：

在相機(jī)和LIDAR傳感器前面放置一個立方體形狀的校準(zhǔn)目標(biāo)。校準(zhǔn)目標(biāo)由具有已知圖案的三個正交平面組成。在檢測到圖案后，我們通過對齊校準(zhǔn)目標(biāo)的平面來計算從相機(jī)到LIDAR的變換矩陣。給定上面計算的LIDAR到自我?guī)儞Q，然后可以計算相機(jī)到自我?guī)儞Q和所得到的外部參數(shù)。

雷達(dá)外在因素：

將雷達(dá)安裝在水平位置。然后通過在城市環(huán)境中駕駛來收集雷達(dá)測量值。在過濾移動物體的雷達(dá)返回后，校準(zhǔn)偏航角，以最小化靜態(tài)物體的補(bǔ)償范圍速率。

相機(jī)內(nèi)在校準(zhǔn)：

使用具有一組已知模式的校準(zhǔn)目標(biāo)板來推斷相機(jī)的固有和失真參數(shù)。

傳感器同步

為了在激光雷達(dá)和攝像機(jī)之間實現(xiàn)良好的交叉模態(tài)數(shù)據(jù)對準(zhǔn)，當(dāng)頂部激光雷達(dá)掃過攝像機(jī)FOV的中心時，會觸發(fā)攝像機(jī)的曝光。圖像的時間戳是曝光觸發(fā)時間；并且LIDAR掃描的時間戳是實現(xiàn)當(dāng)前LIDAR幀的完全旋轉(zhuǎn)的時間。鑒于相機(jī)的曝光時間幾乎是瞬時的，這種方法通?？梢援a(chǎn)生良好的數(shù)據(jù)對齊。請注意，攝像機(jī)以12Hz運行，而激光雷達(dá)以20Hz運行。12個相機(jī)曝光在20個LIDAR掃描中盡可能均勻地展開，因此并非所有LIDAR掃描都具有相應(yīng)的相機(jī)幀。將攝像機(jī)的幀速率降低到12Hz有助于降低感知系統(tǒng)的計算，帶寬和存儲要求。

參與此次數(shù)據(jù)標(biāo)注的Scale公司，自2016年成立以來，已經(jīng)為包括Lyft、Voyage、通用汽車、Zoox和Embark在內(nèi)的客戶標(biāo)出了超過20億英里的行駛里程。

今年8月，Scale宣布了一輪1800萬美元融資，迄今該公司已籌集到2270萬美元，報告稱去年公司收入增長了15倍。

數(shù)據(jù)標(biāo)注的對象通常有圖像、語音、文本、視頻、雷達(dá)等。圖像類主要針對視覺識別類公司，所要標(biāo)注的圖像內(nèi)容包括人像、建筑物、植物、道路、交通標(biāo)志、車輛等，每項內(nèi)容下面，又會根據(jù)不同的特征進(jìn)行不同標(biāo)簽的標(biāo)注。

業(yè)內(nèi)人士表示，一般而言，客戶會有自己的需求，公司依規(guī)而行。目前在國內(nèi)，阿里巴巴、騰訊、百度等大型互聯(lián)網(wǎng)公司，擁有海量的數(shù)據(jù)標(biāo)注需求，單個訂單量都是以億元為單位。如此大的訂單，基本都是分包給不同的數(shù)據(jù)標(biāo)注公司進(jìn)行處理，國內(nèi)外還沒有一家公司能夠處理這樣大的訂單。

另外還有自動駕駛公司，以及視覺圖像處理的公司，也有著數(shù)據(jù)標(biāo)注的強(qiáng)烈的需求，他們需要用標(biāo)注后的數(shù)據(jù)來訓(xùn)練人工智能，而人工智能的日趨成熟，是永無止境的。

業(yè)內(nèi)人士透露，數(shù)據(jù)標(biāo)注是一個簡單又困難的事情。簡單之處在于，確定了篩選規(guī)則以后，操作人員只需依規(guī)操作即可，沒有執(zhí)行上的難度，而困難之處在于，數(shù)據(jù)標(biāo)注本質(zhì)上是要獲得更準(zhǔn)確，更精細(xì)化的數(shù)據(jù)結(jié)果，高質(zhì)量的數(shù)據(jù)是業(yè)內(nèi)急需的。

“在數(shù)據(jù)采集上，由原來的普通行車記錄儀的數(shù)據(jù)采集，到現(xiàn)在已有諸多公司開始使用特殊采集設(shè)備采集行車數(shù)據(jù)。在數(shù)據(jù)標(biāo)注上，原來的2D標(biāo)注到3D標(biāo)注，再到語義分割，3D點云的標(biāo)注需求，對數(shù)據(jù)的要求越來越專業(yè)”，龍貓數(shù)據(jù)CEO昝智表示，“我們也正不斷開發(fā)新的標(biāo)注工具，適配自動駕駛行業(yè)的發(fā)展?！?/p>

昝智表示，未來至少10年內(nèi)，各領(lǐng)域?qū)?a href="http://hljzzgx.com/tags/ai/" target="_blank">AI數(shù)據(jù)的獲取需求只增不減。在發(fā)展的不同階段，龍貓數(shù)據(jù)也將不斷關(guān)注技術(shù)更新，適配新的需求。

而在在行業(yè)內(nèi)特斯拉是第一家規(guī)?；杉瘮?shù)據(jù)的汽車制造商，他們很早就用自己的車輛來收集數(shù)據(jù)，為無人駕駛技術(shù)研發(fā)提供基礎(chǔ)數(shù)據(jù)。

由于沒有獲取車輛數(shù)據(jù)源的通道，目前有很多汽車廠商都在模仿特斯拉的做法，通過在自己公司生產(chǎn)的車輛上安裝采集設(shè)備，獲取車輛數(shù)據(jù)并回傳到平臺，這是一種最直接的方式，也是相對比較明智的做法。

目前，全球主流的自動駕駛測試數(shù)據(jù)集包括Cityscapes、Imagenet（ILSVRC）、COCO、PASCAL VOC、CIFAR、MNIST、KITTI、LFW等。

Cityscapes

Cityscapes是由奔馳與2015年推出的，提供無人駕駛環(huán)境下的圖像分割數(shù)據(jù)集。用于評估視覺算法在城區(qū)場景語義理解方面的性能。

Cityscapes包含50個城市不同場景、不同背景、不同季節(jié)的街景，提供5000張精細(xì)標(biāo)注的圖像、20000張粗略標(biāo)注的圖像、30類標(biāo)注物體。用PASCAL VOC標(biāo)準(zhǔn)的 intersection-over-union（IoU）得分來對算法性能進(jìn)行評價。

Cityscapes是目前公認(rèn)的自動駕駛領(lǐng)域內(nèi)最具權(quán)威性和專業(yè)性的圖像語義分割評測集之一，其關(guān)注真實場景下的城區(qū)道路環(huán)境理解，任務(wù)難度更高且更貼近于自動駕駛等熱門需求。

KITTI

KITTI是由德國卡爾斯魯厄理工學(xué)院和豐田芝加哥技術(shù)研究院于2012年聯(lián)合創(chuàng)辦，是目前國際上最大的自動駕駛場景下的計算機(jī)視覺算法評測數(shù)據(jù)集。

KITTI用于評測3D目標(biāo)（機(jī)動車、非機(jī)動車、行人等）檢測、3D 目標(biāo)跟蹤、道路分割等計算機(jī)視覺技術(shù)在車載環(huán)境下的性能。

KITTI包含市區(qū)、鄉(xiāng)村和高速公路等場景采集的真實圖像數(shù)據(jù)，每張圖像中多達(dá)15輛車和30個行人，還有各種程度的遮擋。

ILSVRC

ILSVRC也就是通常所說的Imagenet數(shù)據(jù)集，是美國斯坦福的計算機(jī)科學(xué)家李飛飛模擬人類的識別系統(tǒng)建立的。

它是目前深度學(xué)習(xí)圖像領(lǐng)域應(yīng)用較多的一個數(shù)據(jù)集，關(guān)于圖像分類、定位、檢測等研究工作大多基于此數(shù)據(jù)集展開。Imagenet數(shù)據(jù)集有1400多萬幅圖片，涵蓋2萬多個類別；其中有超過百萬的圖片有明確的類別標(biāo)注和圖像中物體位置的標(biāo)注。

COCO

COCO（common objects Dataset）數(shù)據(jù)集，它由微軟贊助，除了基本的圖像的標(biāo)注信息外，還有對圖像的語義文本描述，COCO數(shù)據(jù)集的特點是開源，這使得它在近三來在圖像分割語義理解領(lǐng)域取得了巨大的進(jìn)展，Google的開源show and tell生成模型就是在此數(shù)據(jù)集上測試的。

PASCAL VOC

PASCAL VOC是視覺對象的分類識別和檢測的一個基準(zhǔn)測試，提供了檢測算法和學(xué)習(xí)性能的標(biāo)準(zhǔn)圖像注釋數(shù)據(jù)集和標(biāo)準(zhǔn)的評估系統(tǒng)。

雖然它在2012年后便不再舉辦，但其數(shù)據(jù)集圖像質(zhì)量好，標(biāo)注完備，非常適合用來測試算法性能。

CIFAR

CIFAR（Canada Institude For Advanced Research）包括CIFAR 10和CIFAR 100兩個數(shù)據(jù)集，它們被標(biāo)記為8000萬個微型圖像數(shù)據(jù)集的子集。

這些數(shù)據(jù)集是由Vinod Nair、Alex Krizhevsky和Geoffrey Hinton收集的。CIFAR對于圖像分類算法測試來說是一個非常不錯的中小規(guī)模數(shù)據(jù)集。

MNIST

MNIST（THE MNIST DATABASE of handwritten digits）號稱深度學(xué)習(xí)領(lǐng)域的“Hello World!”，是一個手寫的 數(shù)字?jǐn)?shù)據(jù)集。當(dāng)前主流深度學(xué)習(xí)框架幾乎無一例外將MNIST數(shù)據(jù)集的處理作為介紹及入門第一教程。