作為整個計算的最前沿，傳感效率的高低、傳感信號和后端計算模式的匹配程度必然影響著整個智能系統(tǒng)的表現(xiàn)。類腦技術(shù)的完全體=事件驅(qū)動傳感 + 異步類腦芯片計算，配合高效利用異步機制的算法。而脈沖神經(jīng)網(wǎng)絡(luò)的異步運算機制和仿生傳感器天然契合。目前，SynSense時識科技使用類腦技術(shù)實現(xiàn)了mW級別的“感算一體”動態(tài)視覺智能SoC Speck，將這一新興的傳感+計算技術(shù)用于我們身邊的電子器件及智能設(shè)備中。

動態(tài)視覺傳感器

動態(tài)視覺相機 Dynamic Vision Sensor（DVS）,有時候也稱作事件相機（Event camera）或者硅視網(wǎng)膜（Silicon Retina）。提到DVS的起源就要追溯到它的發(fā)明者M(jìn)isha Mahowald。Misha師從類腦工程領(lǐng)域的提出者Carver Mead (Carver mead 同時還是VLSI電路設(shè)計的大牛級別人物，也被認(rèn)為是摩爾定律的命名者)。在博士期間，她和Tobi Delbruck創(chuàng)舉性地結(jié)合生物學(xué)計算機科學(xué)和電氣工程領(lǐng)域，創(chuàng)建了第一個硅視網(wǎng)膜系統(tǒng)，這也是最早的動態(tài)視覺相機的原型。之后，她和Tobi Delbruck還有幾位現(xiàn)在的類腦技術(shù)大牛們一起將技術(shù)帶到了蘇黎世，并和蘇黎世聯(lián)邦理工、蘇黎世大學(xué)聯(lián)合創(chuàng)辦了INI神經(jīng)信息研究所(Institute of Neuroinformatics)，專注于研究神經(jīng)科學(xué)、神經(jīng)形態(tài)相關(guān)的技術(shù)。硅視網(wǎng)膜就是其中重要的一項技術(shù)。1996年Misha因為這一非凡的工程案例成為國際科技女性（WITI）名人堂成員，遺憾的是Misha在33歲結(jié)束了自己年輕的生命。

但是硅電子視網(wǎng)膜的技術(shù)并未停滯，而是經(jīng)過十幾年的發(fā)展變得更加成熟。從INI出來的公司iniVation已經(jīng)將DVS變成成熟的產(chǎn)品，不僅整個傳感器集成了仿生的事件像素陣列，還在外圍同步集成了如RGB相機、IMU傳感器，幫助其實現(xiàn)更強大的信息同步和收集能力。另一公司Prophesee提供高分辨率的動態(tài)視覺傳感器，并和Sony合作將先進(jìn)光學(xué)電子工藝和DVS結(jié)合，大大減小了芯片面積和光學(xué)性能。此外，在應(yīng)用算法層面，也有越來越多的科研學(xué)者和工程師專家已經(jīng)把事件相機信號應(yīng)用在各行各業(yè)中。

什么是DVS？可簡要概括為：只對運動的目標(biāo)成像。

從工作原理上來講， DVS最大的特點之一則是：異步感知。

我們拿傳統(tǒng)的數(shù)字相機來對比：

對于傳統(tǒng)相機來說，每個感光原件會根據(jù)一定的采樣率對整個感光陣列進(jìn)行同步的采樣， 因此每次成像需要依賴于一個時鐘信號當(dāng)作reference。以這樣的形式，我們得到了一個對光電流信號采樣的真實值的陣列。假設(shè)說我們有100x100大小的一個像素陣列，RGB三個采樣通道和1/30秒的采樣率的話，我們每秒就會得到100x100x30x3的數(shù)組，其中100x100x3就是我們常說的一幀圖片。

區(qū)別在于，對于同樣100x100的像素陣列來說，DVS里的每個像素的工作是相互獨立、互不干涉的。也就是說每個感光像素都只對自己所負(fù)責(zé)的一部分區(qū)域進(jìn)行獨立感光。同時，每個感光像素都不再直接采樣實值，而是時時刻刻去比較光電流的相對變化值是否超過了一個閾值。相對應(yīng)來說，光照強度的變化對應(yīng)著光電流的大小變化，其實DVS上的每一個像素位置是在感受相對光照強度的變化是否明顯。當(dāng)在對應(yīng)像素上感受到足夠的光強變化時， 傳感器就會發(fā)出一個“事件信號”，通常來說這個信號是一個數(shù)據(jù)包，包含著以下信息：

像素的坐標(biāo)地址 （x, y）

光照強度變化的極性

事件發(fā)生的時間戳

如下圖所示，假設(shè)我們同時用DVS（圖下方）和傳統(tǒng)相機（圖上方）對轉(zhuǎn)動的圓盤成像， 我們就可以清晰看出區(qū)別。傳統(tǒng)相機的成像基于采樣率，所以會丟失掉幀和幀之間的信息，圓盤上黑點的運動是離散地體現(xiàn)在每一幀圖像的不同位置上的，而當(dāng)圓盤停止轉(zhuǎn)動的時候，傳統(tǒng)相機依舊會按照采樣率對靜態(tài)的圓盤成像。

圖：傳統(tǒng)相機+DVS相機

而對DVS而言，只有光照強度變化的像素區(qū)域才會發(fā)出事件信號，同時又沒有采樣率的限制，在圓盤轉(zhuǎn)動的情況下，我們得到的數(shù)據(jù)輸出可以看到的是一串連續(xù)的事件流。而在圓盤停止轉(zhuǎn)動的時候，因為無光強明顯變化，DVS相機是沒有任何信號的生成的。所以對于DVS來說，它的輸出脫離了采樣率，對于不同的場景來說是完全不一樣的。對于大體積、高速運動物體的成像可能是多的，但是對于如靜止的背景，完全不產(chǎn)生數(shù)據(jù)。

下圖所示為簡單的一個DVS像素工作原理?？梢钥闯稣麄€pipeline里由幾大功能模塊組成：前端的感光元件，log域計算，差分放大和比較器。其中當(dāng)光強的log值在向較大方向變化時，我們得到極性為ON的事件，反之我們得到OFF事件。

圖：DVS像素工作原理

點擊了解：SynSense時識科技Open Neuromorphic演講回顧：工程師共聚，探討類腦視覺感知+計算 | 完整視頻

那么DVS對于視覺傳感來說能帶來什么優(yōu)勢？

高動態(tài)范圍

當(dāng)拍攝的圖像在光線上有巨大的差異時，更大的動態(tài)范圍就能獲得更大的影調(diào)空間——例如一個有明亮窗戶和昏暗內(nèi)部的地點。來自窗戶的光線比墻壁內(nèi)部的光線要亮得多，如果動態(tài)范圍不夠大，這時要么窗戶的光線太亮，曝光過度（看起來是白色的），要么墻壁太暗，曝光不足（看起來是黑色的）。DVS的成像因為取決于光強的相對變化值，這使它在過曝光和欠曝光的狀態(tài)下也能穩(wěn)定清晰成像。一個DVS的理論動態(tài)范圍約為120dB。而人眼的動態(tài)范圍大概只在30-40dB左右。

克服成像的運動模糊

因為DVS突破了傳統(tǒng)相機中的采樣率，那么對于運動物體的成像也就不再有幀率的限制。動態(tài)模糊本質(zhì)的產(chǎn)生原因是相機成像幀率和物體運動的速度不匹配。DVS產(chǎn)生的連續(xù)事件流在理論上可以等效為4000-5000FPS成像速度。目前大部分的DVS相機都可以做到us級的成像延遲，而對于一個傳統(tǒng)30FPS的相機來說，其延時約為33ms。

超低功耗

因為DVS的異步感知和只感知光照變化強度，DVS在大部分典型視覺場景下產(chǎn)生的數(shù)據(jù)是極為稀疏的。大多數(shù)事件相機的功耗都在10mW的級別，有部分原型相機的功耗甚至可以做到小于10uW，這個數(shù)字遠(yuǎn)遠(yuǎn)低于傳統(tǒng)數(shù)字相機（百毫瓦級）。

動態(tài)音頻傳感器

動態(tài)音頻傳感器DAS又稱硅耳蝸（silicon cochlear），功能是把各種現(xiàn)實生活中的聲音信號變成事件信號。和DVS一樣，DAS的本身原理也是通過電路設(shè)計將信號轉(zhuǎn)換為異步的事件信號。它的發(fā)明者Shih-Chii Liu也出自上文提到的神經(jīng)信息研究所INI，這個發(fā)明也帶領(lǐng)著事件驅(qū)動傳感邁向了更廣闊的音頻信號處理領(lǐng)域。Shih-Chii也因此研究獲得了 [Misha Mahowald Prizes]（沒錯， 就是為了紀(jì)念Misha在類腦領(lǐng)域的貢獻(xiàn)設(shè)置的獎項）。

圖：DAS功能模塊

DAS實現(xiàn)的是在電路層面上模仿生物聽覺系統(tǒng)的功能，也就是從真實視覺聲音激勵變成電脈沖信號的過程。按筆者理解：聽覺電信號的產(chǎn)生是因為分布在耳蝸中的內(nèi)絨毛器官可以對不同強度和頻率的震動產(chǎn)生規(guī)則的電信號，這一現(xiàn)象稱為頻率拓?fù)?。這就很像現(xiàn)代數(shù)字信號處理里對聲音的時頻譜分析。而在DAS里，這一過程被工程化為符合頻帶范圍的若干個帶通濾波器組和半波整流器，加上一系列電路設(shè)計和信號處理必要的模塊，我們就可以實現(xiàn)聲音信號到脈沖信號的轉(zhuǎn)換。

和DVS一樣，DAS的輸出數(shù)據(jù)也是事件流信號的，其反應(yīng)的應(yīng)是一個通道內(nèi)的信號能量變化強度是否超過了閾值，一個事件數(shù)據(jù)包會包含：

發(fā)出事件的通道

極性

時間戳

以Shih-Chii的工作為例，DAS有雙聲道輸入，64個通道（每個聲道apply32個band pass filter），兩個聲道的信號相互在事件上匹配，片上有數(shù)控偏置和片上麥克風(fēng)，并且可以直接提供AER接口到類腦芯片上。

圖：DAS響應(yīng) 語句“The quick red fox jumped over the lazy dog ”

類腦傳感器的應(yīng)用

除了視覺和聲音這兩類信號，事件驅(qū)動的傳感也在各個其他信號的領(lǐng)域被證實其可行性和高效，例如IMU、EEG、ECG信號等。那么這些新型傳感器有哪些應(yīng)用呢？

以DVS為例，科研學(xué)者們已經(jīng)展示出了其巨大的應(yīng)用前景。

DVS去模糊：比如使用DVS的信息和當(dāng)前低幀率的RGB相機的信息融合，我們可以重建出一個可以輸出超高幀率的低成本相機系統(tǒng)（去模糊）。

應(yīng)用事件相機實現(xiàn)無人機的高速避障

復(fù)雜視覺任務(wù)：自動駕駛、機器人應(yīng)用場景下的復(fù)雜任務(wù)比如SLAM, 目標(biāo)識別, 光流估計等。

對于DAS而言，配合著相應(yīng)的后端神經(jīng)網(wǎng)絡(luò)算法，我們可以做到超低功耗的各類語音任務(wù)例如：

圖：Speaker verification

聲源定位

通過雙聲道直接產(chǎn)生的相位差估計聲源的方向和位置。

聲紋識別

判斷發(fā)出音頻的個體。

作為整個計算的最前沿：傳感效率的高低和傳感信號和后端計算模式的匹配程度必然影響著整個智能系統(tǒng)的表現(xiàn)。類腦技術(shù)的完全體 = 事件驅(qū)動傳感 + 異步類腦芯片計算配合著高效利用異步機制的算法。而脈沖神經(jīng)網(wǎng)絡(luò)的異步運算機制和仿生傳感器天然契合，相信我們即將看到這些新興的傳感技術(shù)和計算技術(shù)出現(xiàn)在我們身邊。

審核編輯：湯梓紅