1. 寫在前面

今天為大家推薦一篇香港大學(xué)MARS實(shí)驗(yàn)室最新開源的工作，使用激光雷達(dá)實(shí)現(xiàn)了微秒級的運(yùn)動事件檢測，發(fā)表在Nature子刊Nature Communications上。

下面一起來膜拜一下這項(xiàng)神作~

2. 摘要

在動態(tài)環(huán)境中，機(jī)器人需要對具有微秒級延遲的運(yùn)動事件進(jìn)行瞬時檢測。這個任務(wù)，稱為移動事件檢測，通常是使用事件相機(jī)來實(shí)現(xiàn)的。盡管激光雷達(dá)( Light Detection and Ranging，LiDAR )傳感器因其密集和精確的深度測量而對機(jī)器人至關(guān)重要，但其在事件檢測中的應(yīng)用尚未得到深入探索。目前的方法涉及將LiDAR點(diǎn)積累到幀和檢測物體級別的運(yùn)動，導(dǎo)致了幾十到幾百毫秒的延遲。我們提出了一種不同的方法，稱為M-detector，它確定一個點(diǎn)是否在到達(dá)后立即移動，從而導(dǎo)致一個延遲僅為幾微秒的逐點(diǎn)檢測。M-detector是基于遮擋原理設(shè)計的，可以在不同環(huán)境下使用多種類型的LiDAR傳感器。我們的實(shí)驗(yàn)證明了M-detector在各種數(shù)據(jù)集和應(yīng)用上的有效性，顯示了其優(yōu)越的準(zhǔn)確性、計算效率、檢測延遲和泛化能力。

3. 效果展示

M-detector對場景中的運(yùn)動進(jìn)行瞬時檢測，即對突然穿過的行人進(jìn)行檢測。行人在0.01 s時從墻后冒出，在不檢查路況的情況下迅速進(jìn)入道路（a）。b：檢測靜止的行人開始運(yùn)動。女士在十字路口等待，直到0.4 s，她抬起腿開始過馬路。其余行人保持靜止，未開始移動。在這兩種情況下，第一行顯示的都是圖像序列，第二行顯示了在Livox AVIA激光雷達(dá)上M-detector的最后100 ms的檢測結(jié)果，該激光雷達(dá)具有非傳統(tǒng)的非重復(fù)不規(guī)則掃描模式。M-detector在點(diǎn)到達(dá)后立即判斷點(diǎn)是否在移動物體上，導(dǎo)致檢測延遲小于LiDAR點(diǎn)采樣間隔(幾微秒)。M-detector基于第一性原理即遮擋原理設(shè)計，檢測場景中任何運(yùn)動部分采樣的點(diǎn)，而不管其形狀如何。

4. 具體原理是什么？

M-Detector與M-Cell的類比。M-detector以逐點(diǎn)檢測的方式從LiDAR點(diǎn)流中檢測移動事件，導(dǎo)致檢測延遲僅為2 ~ 4 μs。M-detector的低潛伏期類似于人類視覺系統(tǒng)外側(cè)膝狀體核( LGN )中的巨細(xì)胞細(xì)胞( M-cells)，同樣具有較快的響應(yīng)時間，但分辨率較低。相比之下，將點(diǎn)累加到幀中會導(dǎo)致更高的分辨率，但也會導(dǎo)致更長的延遲(例如, 100毫秒)，這一現(xiàn)象類似于LGN中的小細(xì)胞性的細(xì)胞( P-cells )。

遮擋原理。a：當(dāng)物體穿過激光雷達(dá)的激光射線時，當(dāng)前點(diǎn)(藍(lán)色點(diǎn))將遮擋之前在Tk-1時刻采集到的點(diǎn)(橙色點(diǎn))。b：當(dāng)物體沿激光射線運(yùn)動并遠(yuǎn)離傳感器時，當(dāng)前點(diǎn)(藍(lán)色點(diǎn))將被之前的所有點(diǎn)( (即Tk-1處的橙色點(diǎn)和Tk-i處的綠色點(diǎn)) )遮擋，然后被自己的(即Tk-1處的橙色點(diǎn)被Tk-i處的綠色點(diǎn)遮擋)進(jìn)一步遮擋。當(dāng)物體沿著激光射線向傳感器方向移動時，當(dāng)前點(diǎn)(藍(lán)色點(diǎn))將遮擋所有先前的點(diǎn)(即Tk-1處的橙色點(diǎn)和Tk-i處的綠色點(diǎn))，并進(jìn)一步遮擋自己的(即Tk-1處的橙色點(diǎn)包圍Tk-i處的綠色點(diǎn))。

M-detector的系統(tǒng)工作流程（a）和事件檢測步驟（b）。

5. 和其他SOTA方法的對比

M-detector在不同數(shù)據(jù)集上的性能。a：不同方法在不同數(shù)據(jù)集上的IoU結(jié)果。b：M-detector、LMNet-8*和SMOS在KITTI上的比較。場景圖像為序列15中的第68幀。c：AVIA-Indoor數(shù)據(jù)集細(xì)節(jié)。左列顯示場景中拍攝的圖像，右列顯示M-detector在frame-out模式下對應(yīng)的檢測結(jié)果。在上述所有檢測結(jié)果中，紅色點(diǎn)代表該方法標(biāo)記的事件點(diǎn)，白色點(diǎn)代表非事件點(diǎn)。

不同數(shù)據(jù)集上的時間消耗和檢測延遲。a：不同方法在不同數(shù)據(jù)集上的每幀時間消耗。時間消耗以log尺度表示。b：M-detector在不同數(shù)據(jù)集上的時間消耗分解和檢測延遲。外環(huán)代表時間消耗分解，包括事件檢測、聚類和區(qū)域增長以及深度圖像構(gòu)建。圓環(huán)的總長度表示框架周期，由上述3個步驟以不同的顏色和相應(yīng)的數(shù)字所占據(jù)。每個圓環(huán)的未著色部分表示每幀空閑時間。粉紅色的中環(huán)扇區(qū)代表了M-detector在frame-out模式下的檢測延遲，它是由事件檢測和聚類與區(qū)域增長共同引起的。褐色內(nèi)點(diǎn)表示M-detector在point-out模式的檢測延遲，僅由單點(diǎn)的事件探測引起。環(huán)中心的單詞和數(shù)字分別表示數(shù)據(jù)集的名稱和對應(yīng)的幀周期。

審核編輯：黃飛

?